神经网络部分理论

神经网络：

1、感知机（感知机是一个线性模型，并不能处理线性不可分问题，添加激活函数后，感知机可以用来完成二分类问题）

2、全连接层（替换感知机的激活函数，同时并行堆叠多个神经元来实现多输入、多输出的网络层结构。全连接层是最基本的神经网络类型，后续的神经网络模型，例如卷积神经网络和循环神经网络，基本上都源自于全连接层网络的思想）

3、计算方式（前向传播和反向传播）

4、在搭建完模型后，下一步就是选择合适的误差函数来计算误差，常见的有均方差函数（主要用于回归问题）和交叉熵函数（主要用于分类问题），卷积神经网络（AlexNet，GoogleNet，SSD），循环神经网络。

5、卷积神经网络（卷积核，步长），通过设置步长和池化层可以实现尺寸缩减功能，分为最大池化层和平均池化层。最大池化层从局部相关元素集中选取最大的一个元素值，平均池化层从局部相关元素集中计算平均值并返回。

6、常见激活函数：

Sigmoid、ReLU、tanh

7、部分深度学习框架：Pytorch，Keras，Caffe，Tensorflow