数据挖掘-公司别名聚合(一)

本文讲述了作者从后端开发转行数据挖掘,首次接触公司别名聚合任务的经历。通过使用TFIDF进行关键词提取,针对大量UGC数据进行建模和分类,尝试解决如何识别“百度”与“百度烤肉”等是否属于同一公司的难题。虽然初始模型准确率为85%,召回率60%,但经过优化,最终提高了准确率。文章探讨了在机器无法像人类那样理解语义时,如何利用TFIDF等技术进行初步筛选的问题。
摘要由CSDN通过智能技术生成

03年10月份我由于个人兴趣原因从后端开发转数据挖掘,接手的第一个活是“公司别名聚合”,初期一头雾水,不知从何处下手,2个月以后才建出第一个模型,准确率85%以上,召回率比较惨只有60%不到,后来准确率优化到90%以上。接下来讲讲具体的过程。(由于数据敏感性,文章中不会暴露数据源,只能说我使用的的数据都是UGC,且数据量巨大)。

目的:通过程序区分用户所填写的“百度”,“百度烤肉”,“华为公司”,“华为技术有限公司”这样的公司名称是不是属于同一个公司。

手段:数据挖掘、建模、分类、人工筛选。

数据源:用户手动输

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值