NLP、神经网络基本知识

NLP:
1、 词法分析：分词技术、词性标注、命名实体识别、词义消歧
    词性标注：确定词性
    命名实体识别：识别文本中具体意义的实体
                  （实体边界识别、确定实体类别（英文、中文））

NLP语言模型：
    Unigram models (一元文法统计模型)
    N-gram语言模型（N元模型）

Word2vec 是将 词向量 转化成  矢量
            1、CBOW模型
            2、Skip-Gram模型

文本处理：
        1、数据清洗（去掉无意义的标签、url、特殊符号）
        2、 分词、大小写转换、添加句首句尾、词性标注
        3、统计词频、抽取文本特征、特征选择、计算特征权重、归一化
        4、划分训练集、测试集
        
TensorFlow
用于 语音识别 | 图像识别
将复杂的数据结构传输至人工智能神经网中进行分析处理
支持CNN、RNN、LSTM算法
是目前在 Image、Speech、NLP最流行的深度神经网络模型

基本要素：张量Tensor 维度-阶
          张量就是通过各种操作在有向图中流动
          图Graph 模型的数据流、
          会话Session 要想启动一个图，前提就是要先创建一个会话Session，所有对图的操作，必须放在会话中进行

使用图 (graph) 来表示计算任务.
在被称之为会话 (Session) 的上下文 (context) 中执行图.
使用 tensor 表示数据.
通过变量 (Variable) 维护状态.
使用 feed 和 fetch 可以为任意的操作(arbitrary operation) 赋值或者从其中获取数据.
  
常用神经网络：
CNN：卷积神经网络 （卷积层 + 池化层）
RNN：循环神经网络 节点定向连接成环的人工神经网络，内部状态可以展示动态时序行为
LSTM：长短期记忆网络 时间递归神经网络，适用于处理和预测时间序列中间隔和延迟相对较长的重要事件

（早期神网）BP：前馈神经网络（输入层（输入数据）--隐藏层（处理数据）--输出层（输出数据））
BP步骤：
        1正向传播（网络初始化--隐藏层的输出--输出层输出）
        2误差计算
        3反向传播（隐藏层到输出层--输入层到隐藏层）（梯度向上使误差降低。求导降维）
        4偏置更新（隐藏层到输出层--输入层到隐藏层）
BP特点：逐层信息传递到最后
        沿一条直线计算
        包含（输入层-隐藏层-输出层）
        层层之间全连接，不存在同层和跨层来连接
        
RNN：循环神经网络    
特性：1、记忆特性
      2、接受2个参数（当前时刻的输入，上一时刻的输出）
      3、参数共享（确保每一步在做相同的事）
结构：1、one to one 分类问题
      2、one to many 图片描述|音乐生成
      3、many to one 句子（输入）处理
      4、many to many 翻译（汉译英）
RNN：只能是从左-->右，单向
双向循环神经网络：
      1、每个时刻有2个隐藏层
      2、一个从左->右，一个从右->左
      3、向前和向后传播参数独立