机器学习的数学基础—— 《Python深度学习》读书笔记（1）

本系列文章是对《Python深度学习》这本书阅读过程中，提炼出来的读书笔记。

《Python深度学习》这本书的作者是Keras之父，也是Tensorflow框架的贡献者，本书的特点是，作者从一个编程学习者的角度来描述机器学习，而不是堆上来复杂的数学公式和函数变换。所有的数学理论或者公式，都用程序的方式描述出来，对于没有数学功底的开发者来说是一个很大的福利。不过当然，后期还是离不开数学，但作为入门来说这本书就相当的好了。

本章主要讲的是深度学习模型中用到的一些数学基础概念，比如：

1.什么是张量

对于程序员来说，说白了张量就是输入或者输出的多维数组，几维张量就是几维数组。N维数组这里叫ND张量

2.张量的数据结构

对应不同的场景的数据结构维度，选取不同结构的张量

3.张量的运算

基本就是数学中的矩阵的各种运算

4.张量的几何意义

反应在坐标轴上就是一个个不同维度的向量，深度学习的几何本质就是数据向量化，然后对数据向量进行空间上的一系列变换

5.神经网络梯度优化是什么意思

梯度就是图形中斜率最大的路径，也就是运动速度最快的路径，沿着这条路径走，损失函数的数值降低最快，那么学习模型也就能最快的达到最优解。换句话说，梯度优化就是一个最快的、找到正确解的、方法，机器怎么判断是正确的解？损失函数越小，解就越正确。

6.学习率为什么会导致梯度优化陷入局部最优

看我笔记上画的两个函数图比较直观

7.优化器使用的优化函数为什么必须是可导的（函数连续并且可以求导）

不可导就不能计算斜率，就无法进行梯度优化，所以机器就没有了学习的方向，就是说没有了上面第5条的理论依据。所以就一定要可导了。