NLP

NLP基础理论与方法-1（ML）[Disaster Tweets]

基于机器学习的方法
1.CountVectorizer:统计词频
2.TfidfVectorizer:在词频的基础上使用文本频率，削弱高频没有意义的词汇

使用机器学习算法
逻辑回归，SVM

*准备模型输入：TfidfVectorizer
*定义模型并进行训练：LogisticRegression
*进行预测并生成输出

基于RNN/CNN的方法

词嵌入：
拓展到实数空间，
高维降维到低维(特征空间)

传统的词嵌入，在不同的上下文中的表示是相同的
ELMo:对相同的词在不同的上下文中生成不同的词向量

RNN基本思想：每个时刻考虑当前时刻的输入以及上一时刻的输出
LSTM：为了解决梯度消失导致的无法学习长期依赖的问题，引入cell state存储长期依赖信息，以遗忘门，输入门，输出门控制cell state

GRU：简化版LSTM，参数更少，不容易过拟合

RNN方法
CNN方法

基于transformer的方法（bert）