复试篇之神经网络

泛化：它是指在遇到一些没有在训练中遇到的数据时仍然可以得到合理的输出。

 

神经网络的类型：感知器网络（Perceptron）、按误差逆传播算法训练的多层前馈网络（Back Propagation，BP神经网络）、

·玻尔兹曼机（Boltzmann Machine）、卷积神经网络（Convolutional Neural Network，CNN）

 

最小二乘法与梯度下降：

梯度下降和最小二乘的最终目的是一样的，都是使得误差的平方和最小，但是求解方法有所不同，最小二乘是直接对自变量求偏导，求得极值，是全局最优，而梯度下降思路是先选择一个点p0，试探性求得第一次误差，然后在误差下降最快的方向上(也就是所谓的梯度)调整p0，再次试探，最终求得的是局部最优。梯度下降对初始点选择很敏感，靠近最优点的时候收敛速度也变慢。

 

BP神经网络：分为输入层、隐藏层、输出层，只有隐藏层和输出层才做数据处理，隐藏层和输出层都是组y(T) = W(T) * X(T)的运算，每层的输出作为下一层的输入。每层的神经节点都是共享前一层所有的输入项的，也就是每层各个节点的g（v）=wv+b的v都是一样的。训练也是一次一次进行迭代来调整各个w的值。输出只有0或者1两种结果，w的取值决定了运算的精确度。w的训练方法也可以像是最小二层发那样子。而输出层的节点数目决定了最终可以表示多少钟结果，若是5个节点，则最多可以表示2^5 = 32种结果，若要增加需要预测的结果数目，则需要增加输出节点数目。

 

卷积神经网络（CNN）：

（1）也是一种分类器，是一种有监督机器学习工具。CNN已经成为众多科学领域的研究热点之一，特别是在模式分类领域，由于该网络避免了对图像的复杂前期预处理，可以直接输入原始图像，因而得到了更为广泛的应用。

一般来说，CNN的基本结构包括两层。第一层为特征提取层，第二层为特征映射层。

（2）卷积：,数学意义是h(t)经过翻转平移后和f(t)相乘再取和x轴行程的面积，这个面积是关于x的函数

 

（3）若用哪个bp神经网络和玻尔兹曼机来训练模型，g(v) = wv+b,若b的维度很大时候，训练的时间将大到不可忍受，例如一张

2048×1536的图像，则v向量的维度在3145728，造成处理时间过长，这时候可以用卷积神经网络来处理

 

（4）卷积神经网络有两种功能与其他两种网络不一样：局部感知、参数共享。分为卷积层和采样层，采样层是对前面卷积层输出的特征提取值做量化。然后再到输出层

 

（5）深度学习

随着计算机硬件的提升，以前的大规模、复杂度高的方案成为可能。这些深度学习的共同点基本上就是网络输入层节点多，网络层次深，支持的分类种类多而复杂。

在人们明确告诉计算机应该怎么去计算，什么步骤，什么规则，而遗留的问题仅仅是计算量的情况下，计算机完全可以通过分布式计算方式来进行弥补，并逼近或超过人类的水平。