文本分析系列——基于词库的文本是非判断计算

本文介绍了如何使用改进的朴素贝叶斯分类方法进行文本的二分类,特别是针对‘是’与‘否’的判断。通过特征词匹配和权重计算,结合标题和内容,实现文本是否属于某一特定分类的判断,平均正确率约80%。文中还讨论了标题的重要性、反向过滤词、阀值设定及其对准确率和查全率的影响。
摘要由CSDN通过智能技术生成

        分类是我们经常遇到的问题,而“是”与“否”是最简单的分类命题,对于人类来说分类不难,例如:这支笔是不是钢笔?但对于机器来说就没有那么简单,以下提到的文本的是非判断是我开发过的项目中所使用的计算方法,本质上来说是朴素贝叶斯分类计算,只是在这个的基础上做了改良,用于文本(新闻)是否属于某城市的判断,正确率80%左右;


简介

        二分类是指所有的文本只存在两个分类的划分,例如“**市新闻”的分类,所有的文章都可以划分为“**市”和“非**市”两类,不存在第三种分类。


适用条件

        二分类中的其中一个分类(是/非)具有明显特征,并且可以提取出一系列特征词作为判断的依据,例如“**市”文章中带有当地的行政区划、地理建筑、文化历史等相关的特征词。

主要特征

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值