《深度学习中的数学》学习笔记

先说一句对整本书的印象：作者尽全力试图把深度学习的复杂知识，用形象化形式表述清楚，非常适合新手入门学习阅读。

第一章 神经网络的思想

这一代的人工智能：数据为王。有什么样的数据，出什么样的模型。

神经网络中比较重要的一点就是利用网络自学习算法来确定权重大小。

有监督学习是指，为了确定神经网络的权重和偏置，事先给予数据，这些数据称为学习数据。根据给定的学习数据确定权重和偏置，称为学习。

神经网络是怎样学习的呢？思路极其简单：计算神经网络得出的预测值与正解的误差，确定使得误差总和达到最小的权重和偏置。这在数学上称为模型的最优化（下图）。

需要注意的是，神经网络的权重是允许出现负数的，但在用生物学进行类比时不会出现负数，也难以将负数作为神经传递物质的量。可以看出，神经网络从生物那里得到启发，又飞跃到了与生物世界不同的另一个世界。

奇点（singularity）被用来表示人工智能超过人类智能的时间点。据预测是 2045 年，也有不少人预测这个时间点会更早到来。

---

在神经网络的计算中，经常用到正态分布随机数作为初始值。

没看完：总结一句:完全是写给新入行人员。甚至连编程经验都省去了。