山东大学NLP实验
文章平均质量分 72
Deep_Dreamer
山东大学本科生,保研中。
展开
-
山东大学NLP实验2
SnowNLP是一个python写的类库,可以方便的处理中文文本内容,是受到了TextBlob的启发而写的,由于现在大部分的自然语言处理库基本都是针对英文的,于是写了一个方便处理中文的类库,并且和TextBlob不同的是,这里没有用NLTK,所有的算法都是自己实现的,并且自带了一些训练好的字典。利用给定的中英文文本序列(见Chinese.txt 和 English.txt),分别利用以下给定的中英文分词工具进行分词并对不同分词工具产生的结果进行简要对比分析,将实验过程与结果写成实验报告,实验课结束后提交。原创 2023-03-15 08:00:00 · 9662 阅读 · 0 评论 -
山大NLP实验1
这样的话,我们统计的时候,就可以仅统计 P(a|b)形式的词频就好了,因为 P(begin abc end) = P(begin)P(a|begin)P(b|a)P(c|b)P(end|c)。所以可以写成 P(begin abc end) = P(a|begin)P(b|a)P(c|b)P(end|c)。解决:一维列表传入使用list.copy(),二维字典传入使用 copy.deepcopy(dict)问题2:由于这里是对词进行处理,可能相同的词存在不同的大小写,而且对于句子中的标点符号该怎么处理?原创 2023-03-14 04:00:00 · 2029 阅读 · 0 评论