深度学习与神经网络
文章平均质量分 77
深度学习笔记
amazing550
这个作者很懒,什么都没留下…
展开
-
神经网络常用术语(Updating)
偏置 除了权重之外,另一个被应用于输入的线性分量被称之为偏置。他的目的是改变输入与权重相乘结果的范围。 b为偏置 y=a×w+b y = a\times w + b y=a×w+b原创 2021-08-01 18:57:14 · 474 阅读 · 0 评论 -
监督学习与非监督学习简述(Updating)
监督学习与非监督学习简述 目录监督学习与非监督学习简述监督学习监督学习算法的步骤监督学习算法:Delta学习规则 监督学习 监督训练是将将一组训练集送入网络,根据网络的实际输出与期望输出之间的差别来调整连接权 监督学习算法的步骤 从样本集合中取一个样本(AiA_{i}Ai,BiB_{i}Bi),其中AiA_{i}Ai是输入,BiB_{i}Bi是期望输出。 计算网络的实际输出O 求D = BiB_{i}Bi-O 根据D调整权矩阵W 对每个样本重复以上过程,直到误差对整个样本集来说不超过规定范围为止原创 2021-08-01 19:54:54 · 163 阅读 · 0 评论 -
常见激活函数
常见激活函数 目录常见激活函数sigmoid函数tanh函数ReLU函数softmax函数 sigmoid函数 f(x)=11+e−x;(0<f(x)<1) f(x) = \frac{1}{1 + e^{-x}} ; (0<f(x)<1) f(x)=1+e−x1;(0<f(x)<1) sigmoid产生了一个0到1之间的平滑函数。有时需要观察在输入值略有变化时输出值发生的变化,而光滑的sigmoid函数能够做到这点。 tanh函数 f(x)=1−e−2x1+e−2x原创 2021-08-02 21:29:45 · 68 阅读 · 0 评论 -
梯度下降算法
目录泰勒公式 泰勒公式 设f(x)f(x)f(x)在x0x_{0}x0处有n阶导,则有公式: f(x)=f(x0)+f′(x0)1!(x−x0)+f"(x0)2!(x−x0)2+...+f(n)(x0)n!(x−x0)n+O[(x−x0)n] f(x) = f(x_{0}) + \frac{f'(x_{0})}{1!}(x - x_{0}) + \frac{f"(x_{0})}{2!}(x - x_{0})^{2} + ... + \frac{f^{(n)}(x_{0})}{n!}(x - x_{0})^原创 2021-08-05 17:40:55 · 99 阅读 · 0 评论