NLP-深度学习和神经网络

深度学习

深度学习是机器学习的分支，是一种以人工神经网络为架构，对数据进行特征学习的算法。

机器学习和深度学习的区别

特征提取

特征提取的角度出发：

1. 机器学习需要有人工的特征提取的过程
2. 深度学习没有复杂的人工特征提取的过程，特征提取的过程可以通过深度神经网络自动完成

数据量

数据量：

1. 深度学习需要大量的训练数据集，会有更高的效果
2. 深度学习训练深度神经网络需要大量的算力，因为其中有更多的参数

应用场景

1. 图像识别
   1. 物体识别
   2. 场景识别
   3. 人脸检测跟踪
   4. 人脸身份认证
2. 自然语言处理技术
   1. 机器翻译
   2. 文本识别
   3. 聊天对话
3. 语音技术
   1. 语音识别

神经网络

人工神经网络

人工神经网络，简称神经网络（Neural Network，NN）或类神经网络，是一种模仿生物神经网络（动物的中枢神经系统，特别是大脑）的结构和功能的数学模型，用于对函数进行估计或近似。

神经元的概念

一个简单的神经元：

其中：

1. a1,a2… an 为各个输入的分量
2. w1,w2 … wn 为各个输入分量对应的权重参数
3. b 为偏置
4. f 为激活函数，常见的激活函数有tanh，sigmoid，relu
5. t 为神经元的输出

数学公式：

一个神经元的功能是求得输入向量与权向量的内积后，经一个非线性传递函数得到一个标量结果。

单层神经网络

是最基本的神经元网络形式，由有限个神经元构成，所有神经元的输入向量都是同一个向量。由于每一个神经元都会产生一个标量结果，所以单层神经元的输出是一个向量，向量的维数等于神经元的数目。

感知机

感知机由两层神经网络组成，输入层接收外界输入信号后传递给输出层（输出+1正例，-1反例），输出层是 M-P 神经元。

作用：把一个n维向量空间用一个超平面分割成两部分，给定一个输入向量，超平面可以判断出这个向量位于超平面的哪一边，得到输入时正类或者是反类，对应到2维空间就是一条直线把一个平面分为两个部分。

多层神经网络

所谓的全连接层就是在前一层的输出的基础上进行一次Y=Wx+b的变化(不考虑激活函数的情况下就是一次线性变化，所谓线性变化就是平移(+b)和缩放的组合(*w))

激活函数

• sigmoid 只会输出正数，以及靠近0的输出变化率最大
• tanh和sigmoid不同的是，tanh输出可以是负数
• Relu是输入只能大于0,如果你输入含有负数，Relu就不适合，如果你的输入是图片格式，Relu就挺常用的，因为图片的像素值作为输入时取值为[0,255]。
  激活函数的作用除了前面说的增加模型的非线性分割能力外，
• 提高模型鲁棒性
• 缓解梯度消失问题
• 加速模型收敛等

神经网络示例

深度学习的思想：
输出的最原始、最基本的数据，通过模型来进行特征工程，进行更加高级特征的学习，然后通过传入的数据来确定合适的参数，让模型去更好的拟合数据。
这个过程可以理解为盲人摸象，多个人一起摸，把摸到的结果乘上合适的权重，进行合适的变化，让他和目标值趋近一致。整个过程只需要输入基础的数据，程序自动寻找合适的参数。