神经网络与机器学习笔记
刘爱然
焦虑与质疑并不能创造价值,反而会阻碍我们迈向未来的脚步。能够让我们走向未来的,是坚定的信心、直面现实的勇气和直面未来的行动。
展开
-
神经网络与深度学习笔记——卷积神经网络的原理
神经网络与深度学习笔记系列一共有五个专题,分别是第一章使用神经网络识别手写数字——梯度下降算法是什么。主要介绍了神经网络的基础例如感知器激活函数等概念,最主要介绍了梯度下降算法。第二章反向传播算法如何工作——反向传播算法原理。主要介绍了反向传播算法的工作原理。第三章改变神经网络的学习方法——代价函数,规范化,过拟合。主要介绍了不同的代价函数,以及规范化等对传统代价函数的改造。第四章深度神经...原创 2020-04-01 20:46:06 · 761 阅读 · 0 评论 -
神经网络与深度学习笔记——梯度消失问题
第四章深度神经网络为何难训练对于图像识别问题,深度神经网在感官上是这样工作的,第一层神经元能够识别边,角等初等问题,第二层神经网络能够学习图形例如三角形正方形等问题,第三层网络能够识别更加深度的问题,层次越深的网络能够学习的问题的复杂性越高。4.1深度神经网络的梯度消失问题梯度消失(vanishing gradient problem)表现为后面的层学习得比前面的层学习得快,想象一下,...原创 2020-03-30 09:49:18 · 459 阅读 · 0 评论 -
神经网络与深度学习笔记——代价函数,规范化,过拟合
第三章改进神经网络的学习方法3.1交叉熵代价函数 类似于人类试错过程,我们希望神经网络在预测的最终结果和我们想要的结果差距越大时,神经网络对权重和偏置的改变也越大,当慢慢接近真实结果时,改变变小。但是事实上神经网络的学习却是非常缓慢的,原因是我们采用的sigmoid函数两端变得非常平,代价函数对权重和偏置的偏导数变得很小,所以导致了学习缓慢。我们可以通过使用交叉熵代价函数在替...原创 2020-03-26 20:12:52 · 1039 阅读 · 0 评论 -
神经网络与深度学习笔记——反向传播算法原理
第二章反向传播算法如何工作反向传播算法实质上是一种计算梯度的快速算法。2.1计算神经网络中的矩阵计算我们首先规定一下网络中权重w和偏置b的表示方法。表示从层的第k个神经元到第层第j个神经元的权重。同样,用表示第第j个神经元的偏执,用表示第层的第j个神经元的激活函数值。如下图所示。权重的表示:偏置和激活值的表示:那么,我们计算第层的第j个神经元的激活值由下面的公式求得...原创 2020-03-17 20:27:27 · 1170 阅读 · 0 评论 -
神经网络与深度学习笔记——梯度下降算法是什么?
第一章使用神经网络识别手写数字1.1感知器 多输入(二进制输入,0或者1),单输出(0或1)的人工神经元。通俗地讲就是每一个输入xi都对应着一个权重wi,同时感知器自身具有偏置b(阈值),感知器所做的事情是对所有的输入xi和其对应的权重wi相乘并求和,...原创 2020-03-16 17:07:10 · 1714 阅读 · 0 评论