深度学习笔记

1.感知机中 w1 w2 控制输入信号的重要性参数，偏置b是调整神经元被激活的容易程度的参数。
2.单层感知机的局限性在于只能表示由一条直线分开的区间（线性空间），而无法处理如异或这种（非线性空间）
3.通过叠加层（加深层）感知机能更加灵活的表示。
4.神经网络的激活函数必须使用非线性函数，因为使用线性函数的话，那么加深神经网络的层数就没有意义了。
5.输出层的激活函数用σ（）表示（sigma），隐藏层的激活函数用h()表示。
6.输出层所用的激活函数要根据实际问题的性质决定，一般而言，回归问题可以使用恒等函数，二元分类问题可以使用sigmoid函数，多元分类问题可以使用softmax函数。
6.机器学习使用训练数据进行学习，严格来说就是针对训练数据计算损失函数的值，找出使该值尽可能小的参数。
7.如果以全部数据对象求损失函数的和，则计算过程需要花费较长的时间。神经网络的学习是从训练数据中选出一批数据（称为mini-batch,小批量）然后对每个mini-batch进行学习，这种学习方式称为mini-batch学习。
8.在进行神经网络学习时，不能将识别精度作为指标，因为如果以精度为指标，则参数的导数在绝大多数地方会变成0.
9.识别精度对微小的参数变化基本上没有什么反应，即便有反应，它的值也是不连续的、突变的。
10.由全部变量的偏导数汇总而成的向量称为梯度（gradient）
11.梯度指示的方向是各点处的函数值减小最多的方向。
12.SGD (stochastic gradient descent) 随机梯度下降法：对随机选择的数据进行梯度下降法。
13.