《深度学习的数学》阅读记录

《深度学习的数学》阅读记录

这本书是日本人写的书，按作者说的，就是现有的很多书籍都使用了大量的公式和专业术语，让人难以看透神经网络的本质，这不利于人工智能的发展，所以为了破除这种障碍，使用初级数学知识讲解深度学习的思想。整本书读下来，发现确实很基础，使用很简单的数学知识就将很多深度学习的概念讲解清楚了。对入门很友好。

全书概览

整本书分为五章：

第一章介绍了神经网络的思想，来源，工作方式。

学到了在网络中不同神经元通过不同的权重将上一层的输入传递到下一层，当这个组合的输入达到了设置的偏置，就会对神经元进行点火。神经元接收到输入之后，会通过一个激活函数，加权输入为自变量，通过激活函数之后，得到一个输出，就是下一层神经元的输入。
在隐藏层中，不同神经元对不同特征会有不同的权重反应，所以可以实现经过神经元之后，就能识别出不同的信息。
在神经网络中，参数的确定方法分为有监督学习和无监督学习。有监督学习现需要提前给予数据，进行学习。这个数据也叫做训练数据。
预测值与正解的误差，通过误差总和（叫做代价函数）达到最小得到最小的权重和偏置。这在数学中就是最优化。利用平方误差确定参数的方法就是最小二乘法

第二章讲解了一些数学基础

像一次函数，二次函数，数列和递推。以及比较重要的是向量的基础，其中方向相反的向量的点乘运算，是梯度下降法的基础。最后就是导数的基础知识和链式法则，这个是重要基础。最后就是讲解了什么是梯度下降法。通过不断的移动，找到下降最快的路线。关于这一点，看完全书时，有个疑问就是：通过求导求最适合的参数，为什么还需要先预设初始值。这个疑问在自己反复思考之后：使用梯度下降法，梯度下降需要有一个初始位置，通过这个初始位置，运用上面所说的导数的反方向进行移动，找到一个最小位置。也就是不断进行尝试，得到最优解。

第三章是神经网络的最优化

神经网络的参数就是权重和偏置，然而多层神经网络的参数量巨大，很难使用普通的方法进行求解。根据数学基础，有多少个未知数，就要有多少个互不相关的方程，对于图片来说，就要有多少张特征不一样的图片。在求解过程中，有预测值和正解，个人对正解的理解就是，训练时的标注，预测值就是计算了一套参数之后，得出的输出结果。这中间是有误差的，而训练的目的就是找到一套让这个误差最小化的参数。

第四章是神经网络和误差反向传播法

因为在计算机中进行导数计算是非常困难的，计算量非常大，所以需要使用一些替代的方法进行求解，误差反向传播就是解决这个问题的。如果有47个参数，要进行偏导数的求解，需要计算47个偏导数等于0的方程组，这很困难，所以应用梯度下降法，使用当前位置加上求出来的移动位置，但是这种方法看起来很好，但是实际使用过程中也很困难。因为偏导数中涉及的参数太多，导数运算也很多。解决办法：先求导，在带入数据。
最后引入神经单元误差

第五章讲解深度学习和卷积神经网络

介绍卷积层就是用一个卷积核进行特征提取，而池化层就是对卷积层进行压缩数据 ，减少计算量。

看完的感觉

总体来说，对很多基础概念一下子清晰了，是一本很好的入门书籍，但是仍然有很多东西没有涉及，还需要进一步的学习。也希望能多一些这样的通俗易懂的书籍指导自己的学习。