深度学习详解1.2

来自于模型的限制称为模型的偏差，无法模拟真实的情况

模型把输入的特征x乘上一个权重，再加上一个偏置就得到预测的结果，这样的模型称为线性模型

由于线性模型过于简单，不能模拟复杂的情况，故有分段线性曲线

如果点取的够多或点取的位置适当，分段线性曲线就可以逼近这一个连续的曲线，就可以逼近有角度的、有弧度的这一条曲线。

参数非常多的时候，就不能使用穷举的方法，需要梯度下降来找出可以让损失最低的参数。

Sigmoid 越多可以产生有越多段线的分段线性函数，可以逼近越复杂的函数。Sigmoid 的数量也是一个超参数。接下来要定义损失。

人工智能就是在模拟人脑，神经网络不是新的技术，80、90 年代就已经用过了，后来为了要重振神经网络的雄风，所以需要新的名字。每一排称为一层，称为隐藏层（hiddenlayer），很多的隐藏层就“深”，这套技术称为深度学习。所以人们把神经网络越叠越多越叠越深。

在训练数据和测试数据上的结果是不一致的，这种情况称为过拟合（overfitting）

深度学习的训练会用到反向传播（BackPropagation，BP），其实它就是比较有效率、算梯度的方法。