机器学习与深度学习

神经网络的结构：

说在前边的：输入层、输出层节点固定，隐藏层可以自由设置，重要的不是神经元而是连接线，其代表的是权重，需经过训练得到。

神经网络的本质：通过参数与激活函数拟合特征与目标之间真实关系，实现一个神经网络最需要的是线性代数库。

神经元模型MP：神经网络基础。但是权重的值是预先设置的，不能学习。

神经元可以看作一个计算与存储单元。函数sgn是取符号函数，当输入大于0时，输出1，否则输出0。

可以达到的效果：有四个物体找到其中三个属性（特征），可以预测第四个（目标）

感知机：第一个可以学习的神经网络（一个计算层）

与MP的区别，将输入也看做神经元节点，有输入层、输出层，当计算结果是向量时，输出层有多个节点。

效果：类似一个逻辑回归模型，可以做线性分类任务。对N维数据，做N-1维划分

反向传播（Backpropagation，BP）：两个计算层

优点：两个计算层的计算量

特点：两个权重矩阵，除了输出层以外，有一个偏置单元。平滑函数sigmoid作为函数g，也称作激活函数（active function）。

效果：参数矩阵的作用就是使得数据的原始坐标空间从线性不可分，转换成了线性可分，对原始的数据进行了一个空间变换，然后输出层的决策分界划出了一个线性分类分界线，对其进行分类。

训练：样本的预测目标与真实目标直接有一个损失，对参数进行训练的目的就是使得损失尽量小，即转化为最优化问题，如何最优化参数，多利用梯度下降算法，每次计算参数在当前的梯度，然后让参数向着梯度的反方向前进一段距离，重复到梯度接近零时截止。为减小计算量，需要用反向传播，先计算输出层的，接着是参数矩阵，中间层，第一个参数矩阵的梯度，最后是输入层的梯度，得到两个参数矩阵梯度。最优化问题是训练的一部分，最终要达到在测试集也也具有很好的效果（泛化），使用正则化方法达到。

多层神经网络（深度学习）

效果：更深入的特征描述，更强的函数模拟能力，从而得到更好的分类等能力。

训练主题：优化、泛化。ReLU函数在训练多层神经网络时，更容易收敛，并且预测性能更好。

参考文章：http://t.csdnimg.cn/ASUim