对文件中语句使用jieba分词后再进行词典编码

云之徒

于 2023-01-27 22:38:02 发布

阅读量302

点赞数 1

CC 4.0 BY-SA版权

分类专栏： jieba分词与字典编码文章标签： python pandas pip conda

本文链接：https://blog.csdn.net/qq_63840285/article/details/128773606

使用软件：pycharm，jupyter

安装的库：pandas，jieba

例如我们需要对wps或者excel表格的第一列进行如题目的要求，以下则是代码

import pandas as pd
import jieba
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.metrics import accuracy_score

# 读取excel文件
file_path = "你自己的文件路径"
# df = pd.read_csv(file_path,encoding="gbk")
df = pd.read_csv(file_path)#由于文件编码问题这里我们需要将其统一
def my_lcut(x):
    x_new = str(x)
    x_new = jieba.lcut(x_new)
    return x_new
# 对第二列进行分词并编码
# df["new_col"] = df[df.columns[1]].apply(lambda x: jieba.lcut(x))
df["new_col"] = df[df.columns[1]].apply(my_lcut)

#apply（） 函数应用于数据帧第二列中的每个值，lambda 函数用于将第二列中的每个值传递给 jieba.lcut（） 函数。
word2id = {word: idx for idx, word in enumerate(set([i for sublist in df["new_col"] for i in sublist]))}
#创建一个名为“word2id”