![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
自然语言处理
平平无奇代码小孩
在读硕士,自然语言学习者
展开
-
git-hub上通过python程序爬取微博用户信息的学习记录
但是我的问题是:老是提醒我,我已经存在lxml了,所以问题关键在于requirements.txt文件中要求lxml版本为4.9.1,而我现存lxml版本为4.9.3,因此,此处debug有两种方式:1、下载4.9.1版本对应的wheel(较麻烦);2、将requirements.txt中的lxml版本改为4.9.3.此时模块安装就成功了。具体原因我也不知道,但是通过chatgpt进行了debug。就这几个小小问题,我硬是研究了3个小时,太菜了……文件,根据需要配置以下参数。文件,复制一份并重命名为。原创 2024-07-08 23:08:13 · 249 阅读 · 0 评论 -
计算困惑度
import pandas as pd#新增第六次import jiebadf = pd.read_csv("abstract after pre-process.csv", encoding='UTF-8')df.shapeimport jiebadef chinese_word_cut(mytext): return" ".join(jieba.cut(mytext))df["content_cutted"]=df.content.apply(chinese_word_cut)d.原创 2021-05-30 19:53:52 · 622 阅读 · 5 评论