![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习笔记
颜值为0
这个作者很懒,什么都没留下…
展开
-
学习 《神经网络与深度学习》 笔记3
2019年5月25日 晚上十一点半使用梯度下降算法进行学习代价函数我们希望找到一个合理的网络权重和偏置,为了量化我们如何实现这个目标,我们定义了一个代价函数:其中ω是表示所有网络中权重的集合,b是所有的偏置,n是训练输入数据的个数,a表示输入为x时输出的向量,y(x)表示对应的期望的输出。我们把C称作二次代价函数,又叫做均方误差.当C≈0时,也就是对于所有的训练输入x,y(x)接近于输出...原创 2019-05-26 01:54:19 · 176 阅读 · 0 评论 -
学习 《神经网络与深度学习》 笔记1
2019年5月22日 晚上八点半感知器这是一种人工神经元,我的理解感知器像是判断器,这个判断器有一输入和一个输出,而且这个判断要求设置一个阈值(threshold),输出一般是0或者1,超过这个阈值输出1,没有超过输出0。经过进一步的改进,对于不同的感知器也许会有不同的重要程度,所以我们可以对每个感知器设置不同的权重(w)以便于区分之间的重要性,一般是用 输入值 乘以 该感知器的权重 作为真正...原创 2019-05-22 21:43:48 · 102 阅读 · 0 评论 -
学习 《神经网络与深度学习》 笔记2
2019年5月23日 晚上十点S型神经元现在我们试图对于感知器网络中的权重和偏置进行一个微小的改动,试图只是引起输出一个微小的变化。例如对于手写体输出的识别,其中网络错误的将一幅“9”的图像识别成“8”的图像,我们尝试着通过对于权重和偏置微小的调整矫正这个错误。但是当我们这个网络是感知器网络的时候,这种情况是做不到的,相反的,对于这样一个微小的改动有时候会引起感知器输出的完全翻转,0变1或者1...原创 2019-05-23 23:10:23 · 220 阅读 · 0 评论 -
学习 《神经网络与深度学习》 笔记5
2019年6月5日 上午11点反向传播的四个基本方程反向传播是对权重和偏置的变化影响代价函数过程的理解。其根本含义就是计算偏导数和。书中将对计算误差的流程转化到基本两个偏导数和上。为了便于理解,我们假设网络中有一个调皮鬼,这个调皮鬼在第l层第j个神经元上。当有输入进来时,他会在神经元的带权输入上增加一个很小的变化,是的神经元输出由变成,这个变化会向网络后面的层次进行传播,最终导致整...原创 2019-06-05 21:10:24 · 200 阅读 · 0 评论 -
学习 《神经网络与深度学习》 笔记6
2019年6月5日 晚上9点30分反向传播四个基本方程的证明第一个方程我们定义了应用链式法则,我们可以重写上面的等式得到这是在输出层所有神经元k上运行的。当然,第k个神经元的输出激活值只依赖于当k=j时第j个神经元的输入权重。所以当k≠j时,就消失。于是我们可以简化上面的等式为:又因为,所以第二个方程因为,我们重新写一下,应用链式法则可以得到...原创 2019-06-05 22:50:26 · 99 阅读 · 0 评论 -
学习 《神经网络与深度学习》 笔记4
2019年5月28日晚上8点40对之前内容一个零碎的后续书中尝试了一组参数为 隐藏层神经元30个,学习迭代期为30,小批量数据大小为10,学习速率η=3.0的网络识别率的峰值为95.42%,但是我们要注意的是我们在一直按照这组参数做实验训练网络也不一定能得到相同的结果,因为我们使用的是随即权重和偏置来初始化我们的网络,后面的训练过程就可能会有所出入。之后我们再吃尝试隐藏层神经元数量为100...原创 2019-05-28 23:19:52 · 202 阅读 · 0 评论