【数据分析学习笔记day29】自然语言处理NLTK+情感分析+ 自然语言处理(NLP)+ 简单的情感分析+ 案例+使用机器学习实现

情感分析

自然语言处理(NLP)

• 将自然语言（文本）转化为计算机程序更容易理解的形式
• 预处理得到的字符串 -> 向量化
• 经典应用
  1. 情感分析
  2. 文本相似度
  3. 文本分类

简单的情感分析

• 情感字典（sentiment dictionary）

  • 人工构造一个字典，如： like -> 1, good -> 2, bad -> -1, terrible-> -2
  • 根据关键词匹配

• 如 AFINN-111： http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6010，虽简单粗暴，但很实用

• 问题：

  遇到新词，特殊词等，扩展性较差

  使用机器学习模型，nltk.classify

案例：使用机器学习实现

# 简单的例子

import nltk
from nltk.stem import WordNetLemmatizer
from nltk.corpus import stopwords
from nltk.classify