自然语言处理NLP概述（Nature Language Processing）

自然语言处理NLP概述（Nature Language Processing）

DAY 1

THE START OF BEING BETTER

自然语言处理历史流程

• 词频统计（）
• 统计学习（N-Gram）
• 神经网络(循环神经网络)
• 预训练模型时代(基于Transformer的预训练模型:BERT)

P.S. 目前以后两类方法作为研究方法的居多，但是不可否认的是，传统的统计学习方法同样也值得参考。

自然语言处理的基本任务

1、自然语言理解

• 文本分类
• 信息检索
• 信息抽取
• 序列分类

2、自然语言生成

• 文本写作
• 摘要生成
• 智能问答
• 语言翻译

自然语言处理的基本流程

• 1、分词（bpe等）
• 2、词嵌入（嵌入层）
• 3、神经网络（RNN,CNN,Transfomer等）
• 4、正向传播（评价指标以及损失函数等）
• 5、反向传播（梯度优化器，学习率，正则化等）