![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP
blueskyning
这个作者很懒,什么都没留下…
展开
-
中文分词评价指标——正确率、召回率和F1
中文分词评价指标——正确率、召回率和F1在机器学习中的模型评价指标有准确率(precision)召回率(recall)准确率(Accuracy)和F值。二分类的混淆矩阵:真实值\预测值 Positive(1) Negative(0) Positive(1) True Positive (TP) False Positive (FP) Negative(0) False Negative (FN)原创 2020-12-29 16:02:43 · 12374 阅读 · 3 评论 -
中文分词——规则分词
分词是中文NLP中第一步。比如,在英语中,单词本身就是“词”的表达,一篇英文文章就是“单词”加分隔符(空格)来表示的;而在汉语中,词以字为基本单位,但是一篇文章的语义表达却仍然使用词来划分。在处理中文文本时,需要进行分词处理,将句子转化为词的表达。这个切词的过程就是中文分词,他需要通过计算机自动识别出句子的词,在词间加入边界标记符,分隔出各个词汇。分词的难点在于分词歧义。例如,“南京市长江大桥”,应该分词为“南京市/长江大桥”还是“南京/市长/江大桥”。中文分词技术方法主要分为三类:规则分词、统计分词和原创 2020-12-27 23:03:45 · 736 阅读 · 1 评论 -
文件读写,jieba分词
功能描述:从new_4.txt中读取出数据,然后用jieba分词,最后保存到new_5.txt中.实验环境:Python3.7代码实现:import jiebaf_out = open('./new_5.txt','wb+')with open('./new_4.txt','r',encoding = 'utf-8') as f: for line in f.readli...原创 2019-05-15 21:54:55 · 477 阅读 · 0 评论