基于关键词的识别的问题。
1、在关键字中插入字符会导致关键字识别率下降 2、关键词的扩充问题
改进方向 原理:基于信息内容和统计的识别方式
假设正常用户产生数据具有如下信息: 1、在用户产生的信息中,信息的分布是均匀的,也就是重复性很小 2、数字信息所占百分比较低
解决方案设计 1、根据假设1,统计无效字符和汉字字符的比例,无效字符超过汉字可认为广告嫌疑较高 2、根据假设2,统计数字出现频率,数字出现次数过高认为广告嫌疑较大 3、根据假设1,统计重复出现的汉字占文章中汉字总数的比率,超过一定比率认为信息重复,广告嫌疑较大 4、建立常见广告字库,对文章中广告字进行统计和比例计算
------------------
后记:在同事的推荐下,看了贝叶斯分类算法,立刻判断,该方法比以上方法更显优雅