机器学习--文本分析（jieba）（9）

最新推荐文章于 2024-04-01 18:15:14 发布

太原浪子

最新推荐文章于 2024-04-01 18:15:14 发布

阅读量600

点赞数

分类专栏：机器学习文章标签：列表自然语言处理机器学习

本文链接：https://blog.csdn.net/u010671028/article/details/110094135

版权

本文介绍了jieba分词库的使用，包括精确模式和全模式，以及搜索引擎模式。在练习部分，通过词云图制作展示了分词效果，并探讨了如何将文本集合转换为词频向量集合，以及汉字集合转化为词频向量，最后应用到垃圾邮件的识别中。

摘要由CSDN通过智能技术生成

一、jieba

jieba分词有三种拆词模式：

jieba.cut(cut_all=False) # 精确模式适用于文本分析（建模）
jieba.cut(cut_all=True) # 全模式适合搜索引擎
jieba.cut_for_search() # 搜索引擎模式

cut方法拆完是一个生成器对象

jieba.lcut(cut_all=False) # 精确模式适用于文本分析（建模）
jieba.lcut(cut_all=True) # 全模式适合搜索引擎
jieba.lcut_for_search() # 搜索引擎模式

lcut方法拆完是一个列表

二、练习

2.1 词云图制作

import wordcloud
import jieba
import numpy as np
import pandas as pd
from PIL import Image
import matplotlib.pyplot as plt

douyin = pd.read_csv('douyin.csv')

# 导入停用词列表
stopwords = pd.read_csv('stopwords.txt',encoding='gbk',header=None, error_bad_lines=False)[0].values.tolist()
stopwords1 = ['️', '！', '—',  '❤',',','•']

content = ""
for i  in douyin['signature'].v