![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
deep learning
文章平均质量分 71
qq_35497808
这个作者很懒,什么都没留下…
展开
-
神经网络与深度学习 笔记1 感知机 S型神经元
1.感知器 一个感知器接受几个二进制输入,x 1 , x 2 , . . .,并产生一个二进制输出: 示例中的感知器有三个输入,x 1 , x 2 , x 3,引入权重,w 1 , w 2 , . . .,表示相应输入对于输出重要性的实数。神经元的输出,0 或者 1,则由分配权重后的总和∑jwjxj is小于或者大于一原创 2017-07-21 09:16:45 · 467 阅读 · 0 评论 -
神经网络与深度学习 笔记2 梯度下降
1.梯度下降定义一个二次代价函数C:C(w,b)≡12n∑x∥y(x)−a∥2.这里 w 表示所有的网络中权重的集合,b 是所有的偏置,n 是训练输入数据的个数,a 是表示当输入为 x 时输出的向量,求和则是在总的训练输入 x 上进行的。输出 a 取决于 x, w和 b。采用梯度下降的算法来找到能最小化二次代价函数 C(w, b) 的权重和偏置。假设 C 是一个有 变量 v 1 , v 2 的二...原创 2017-07-21 09:41:13 · 618 阅读 · 0 评论 -
神经网络与深度学习 笔记3 反向传播算法
1. 使用矩阵快速计算输出的方法 使用 wljk 表示从(l−1)th 层的 kth个神经元到 lth层的 jth 个神经元的链接上的权重. 例如,下图给出了网络中第二层的第四个神经元到第三层的第二个神经元的链接上的权重: 对网络的偏置和激活值也会使用类似的表示。 我们使用 blj 表示在 lth 层第jth原创 2017-07-21 11:45:45 · 353 阅读 · 0 评论 -
神经网络与深度学习 笔记4 交叉熵代价函数 softmax函数
1. 学习缓慢问题 二次代价函数,定义如下 其中 a 是神经元的输出,训练输入为 x = 1,y = 0 则是目标输出。显式地使用权重和偏置来表达这个,我们有 a = σ(z),其中 z = wx + b。使用链式法则来求权重和偏置的偏导数就有: σ 函数图像: 我们可以从这幅图看出,当神经元的输出接近 1 的时候,曲线变得相当平,所以 σ ′ (z) 就很小了原创 2017-07-21 17:34:20 · 1086 阅读 · 0 评论 -
神经网络与深度学习 笔记5 过度拟合和正则化
1.过拟合 模型复杂而训练样本不足,过度训练,会导致过度拟合。 训练数据集上的代价表现是越来越好的,测试集上的代价越来越差。训练数据上的分类准确率一直在提升接近 100%,而测试准确率仅仅能够达到 82.27%。 网络几乎是在单纯记忆训练集合,而没有对数字本质进行理解能够泛化到测试数据集上。 避免过拟合的方法:early stopping,L1、L2正则化,drop原创 2017-07-24 20:25:07 · 3750 阅读 · 0 评论