神经网络概述

1、神经元

神经网络包括输入层、隐藏层和输出层

神经网络分类：

2、感知机

单层感知机本质上是一个二分类器，只有输入层和输出层，没有隐藏层

感知机解决二分类的问题：

但是感知机只能处理线性分类的问题，无法解决非线性的问题（如：异或问题）

解决方法：添加了隐藏层

隐藏层的层数越多，神经网络的分辨能力越强

神经网络的扩张：

3、激活函数

如何选择激活函数：

非线性 连续可微性 有界性 单调性 平滑性

4、前向传播和损失函数

前向传播：

损失函数：

常用的损失函数：

损失函数的极值：

梯度下降：

初始化的位置，步长等都会影响梯度下降算法

5、反向传播算法

6、卷积神经网络

卷积运算：

单核卷积 相乘再相加

多核卷积：

CNN核心 1、局部感知   2、局部共享

多层卷积

池化层：

作用：降低特征图参数量，保留图像显著特征，降低过拟合和扩大感受野

全连接层：

7、循环神经网络

处理序列数据问题

标准的RNN结构：