神经网络
文章平均质量分 95
light169
这个作者很懒,什么都没留下…
展开
-
深度学习之梯度下降与优化
参考简单认识Adam优化器 - 知乎三种梯度下降算法的比较和几种优化算法 - 知乎pytorch学习系列(4):常用优化算法_ch ur h的博客-CSDN博客一、问题的提出大多数机器学习或者深度学习算法都涉及某种形式的优化。 优化指的是改变 以最小化或最大化某个函数 的任务。 我们通常以最小化 指代大多数最优化问题。我们把要最小化或最大化的函数称为目标函数或准则。 当我们对其进行最小化时,我们也把它称为代价函数、损失函数或误差函数。下面,我们假设一个损失函数为其中 ...原创 2022-05-09 16:25:27 · 2969 阅读 · 2 评论 -
深度学习之激活函数
转自[深度学习中常用激活函数总结 - 知乎]0. 前言本文总结了几个在深度学习中比较常用的激活函数:Sigmoid、ReLU、LeakyReLU以及Tanh,从激活函数的表达式、导数推导以及简单的编程实现来说明。1. Sigmoid激活函数Sigmoid激活函数表达式Sigmoid导数表达式Sigmoid编程实现Sigmoid激活函数以及导函数图像Sigmoid激活函数也叫做Logistic函数,因为它是线性回归转换为Logistic(逻辑回归)的核心函数,这转载 2022-05-07 15:48:32 · 1636 阅读 · 0 评论 -
深度学习之损失函数
损失函数1、什么是损失函数?一言以蔽之,损失函数(loss function)就是用来度量模型的预测值f(x)与真实值Y的差异程度的运算函数,它是一个非负实值函数,通常使用L(Y, f(x))来表示,损失函数越小,模型的鲁棒性就越好。-损失函数:用于衡量'单个样本点'预测值与实际值的偏离程度。-风险函数:用于衡量'样本点平均意义'下的好坏,就是说要除以batch_..原创 2022-05-07 15:38:58 · 11564 阅读 · 0 评论 -
Tensorflow (7) 图解 NumPy
1、Creating Arrays2、Array Arithmeticdata * 1.6:3、Indexing4、Aggregationmin, max, and sum, plenty of others.5、Creating Matricesnp.array([[1,2],[3,4]])6、Matrix Arithmetic7、Dot Productmatrix mult...原创 2022-04-12 17:31:15 · 1654 阅读 · 0 评论 -
Tensorflow (5) Word2Vec
一般,我们会使用One-Hot编码(使用n个值的向量)来表示神经网络的输入。例如,使用神经网络对动物分类: < Bird, Cat, Dog, Fish >,Bird的One-Hot编码是<1,0,0,0> 。但是这样的编码会有一些问题。当类别很大时,使用One-Hot编码会使用大量的空间存储没有多少含义的0。除此之外,这种编码,损失了位置信息,没法表达不同单词之间的关联信息。比如在这里Cat和Dog之余Fish含义是一样的,但是实际上Cat与Fish之间的关联应该更大些。原创 2022-04-11 16:30:05 · 1854 阅读 · 0 评论 -
Tensorflow (6) Attention 注意力机制
细讲 | Attention Is All You Need关于注意力机制(《Attention is all you need》)一步步解析Attention is All You Need! - 简书(代码)The Illustrated Transformer – Jay Alammar – Visualizing machine learning one concept at a time.The Illustrated Transformer【译】Visualizing A .原创 2022-04-11 10:07:37 · 3455 阅读 · 0 评论