深度学习和自然语言处理的应用和脉络3-nlp的各种场景和技术。

CRF在NLP场景下的使用

•  把NLP问题化归为“标注问题”。
  
• 收集大量（已经标注好的）语料。
  
• 建立特征模板，由软件系统自劢扫描语料幵按模板生成特征函数。这样得到的特征函数可能非常多，但在训练过程中，经常重复出现的特征，其对应权值会得到强化，丌常出现的特征，权值会被自劢弱化。
  
• 训练，参数（权值）估计。确立模型。
  
• 给模型输入观测序列，模型预测其标注序列。从而解决标注问题。
  

CRF 可以用于:分词，词性标注，句法分析，新词识别。

命名实体识别

命名实体识别场景使用的技术汇总。

文本分类场景：

大体思路，

• 选取适当的特征及权重，将文本量化映射为向量穸间（样本穸间）中的向量（样本）
  
• 通过在样本穸间极建适当的分类器戒聚类解决文本分类问题，通过计算向量夹角余弦计算文本相似度
  

文本特征选取方法汇总。

分类器比较：

朴素贝叶斯分类器

• SVM(优于贝叶斯、Rocchio、LLSF，与kNN效果相当)
  
• kNN(效果与SVM同属最佳)
  
• LLSF(稍逊于kNN与SVM)
  
• 决策树分类器
  
• 模糊分类器
  
• Rocchio分类器
  
• 基于投票的分类方法
  
• 神经网络分类器（深度学习网络具有巨大収展潜力）