Bobby's Blog

机器学习、TFIDF

TFIDF

python、dict、txt

屁大点事分享者

标准的词频统计

spaCy、依存分析、多轮对话

看完还不会安装spaCy的都去面壁思过

因为NLTK库的出现，词频统计的方法更简单，结果也更加准确，NLTK的使用可参考：【自然语言处理】词性标注在对英文文章实现较为简单的词频统计时，我们可以从以下几个细节入手英文中两个词之间一定有空格隔开对英文文章应该先进行小写处理分词后带有逗号、句号等标点符号的词应该去标点符号词频较小的词（比如<=3）可以忽略掉核心代码如下：（contents是一个列表，每个元素是txt文件的每一行）import stringdic = {}t = []for line in contents

1 读txt文件下面代码实现的是：将一个txt文件内每行内容都存放到列表contents中。有一点强调，为什么要在路径前加'r'？其实r的作用和\\的作用一样，都是为了防止程序将\当作是转义字符，所以r和\\在写的时候使用一种方法就可以，当然如果路径是/，那么就不需要涉及这些了。import operatorcontents = [] # 存放txt文件每行的内容filename = r"C:\Users\Lenovo\Desktop\大三上\nlp实验室\python处理\21.8.29

最近实验室参加了个比赛，比赛内容是做一个英文学术论文阅读 / 写作的辅助系统（RFW：Read For Write），我做了一部分的数据收集和处理工作。数据收集阶段：我舍友写了个爬虫网页pdf的代码，我用的那个代码爬的数据，相对轻松数据处理阶段：我做的主要是词性标注，包括：标记解析、词性标注、词性还原三步这次就整理一下词性标注的基本方法。1 NLTK库的安装词性标注中最主要用到的库是NLTK库，具体的安装过程和遇到问题的解决办法可以参考我的这篇文章：【自然语言处理】NLTK库的安装在词性标注

这个函数前前后后遇到两次了，之前帮导员干活的时候用过一次，这次又用一次，记录一下碰的壁：具体步骤不说了，参考百度百科：如何将一个excel表格的数据匹配到另一个表中比如想拿x匹配y。Vlookup函数有四个参数：① x（这个不会错吧）② 另外一个表的寻找范围。注意这个函数默认是去这个范围的最左列寻找，所以一定要让x在②的最左列中。③ 你要的结果在这个范围的第几列。这个相对是对最左列而言。比如最左列是B列，你想要从C列寻找答案，那这个参数就填2。④ 精准匹配或模糊匹配，这个看你自己分享

python对excel的读写方法还是不少的，之前用同学代码时他用的是pandas，之前我用过是xlrd和xlwt，今天忘了，这次又查了一遍怎么用，做一个记录。1 介绍xlrd：excel_read（自己编的），用于读excelxlwt：excel_write，用于写excel2 xlrd的用法代码思路和人打开一个表格去处理的思路一致：打开文件 → 获取表格内容 → 获取整行或整列或某个单元格的值import xlrd # 读# 1 打开文件wb = xlrd.open_workb

学长布置了一个在词频统计结果上进一步进行词性筛选（eg.动词筛选）的任务，一开始以为很简单，结果还是遇到了许多情况，这里记录一下：1 nltk库的安装PyCharm - File - Settings - Project: python处理 - Python Interpreter没有找到nltk的话可以点 ‘+’ 然后输入nltk安装2 拓展nltk库2.1 下载仅安装nltk库是无法解决词性筛选操作的，需要再下载nltk的扩展包，国外的网站 nltk官网 下载速度较慢，直接给资源：网盘链