关闭

【机器学习PAI实践七】文本分析算法实现新闻自动分类

标签: 机器学习新闻
1862人阅读 评论(0) 收藏 举报
分类:

一、背景

新闻分类是文本挖掘领域较为常见的场景。目前很多媒体或是内容生产商对于新闻这种文本的分类常常采用人肉打标的方式,消耗了大量的人力资源。本文尝试通过智能的文本挖掘算法对于新闻文本进行分类。无需任何人肉打标,完全由机器智能化实现。

本文通过PLDA算法挖掘文章的主题,通过主题权重的聚类,实现新闻自动分类。包括了分词、词型转换、停用词过滤、主题挖掘、聚类等流程。

二、数据集介绍

具体字段如下:

字段名 含义 类型 描述
category 新闻类型 string 体育、女性、社会、军事、科技等
title 标题 string 新闻标题
content 内容 string 新闻内容

数据截图:

三、数据探索流程

首先,实验流程图:

实验可以大致分为五个模块,分别是增加序号列、停用词过滤、分词及词频统计、文本主题挖掘、结果分析和评估。

1.增加序号列

本文的数据源输入是以单个新闻为单元,需要增加ID列来作为每篇新闻的唯一标识,方便下面的算法进行计算。

2.分词及词频统计

这两步都是文本挖掘领域最常规的做法,首先利用分词控件对于content字段,也就是新闻内容进行分词。去除过滤词之后(过滤词一般是标点符号及助语),对于词频进行统计。
如下图:

3.停用词过滤

停用词过滤功能用于过滤输入的停用词词库,一般过滤标点符号以及对于文章影响较少的助语等。

4.文本主题挖掘

使用PLDA文本挖掘组件需要先将文本转换成三元形式,append_id是每篇新闻的唯一标识,key_value字段中冒号前面的数字表示的是单词抽象成的数字标识,冒号后面是对应的单词出现的频率。三元组组件生成结果如下:

在上一步完成了文本转数字的过程,下一步数据进入PLDA算法。PLDA算法又叫主题模型,算法可以定位代表每篇文章的主题的词语。本次试验设置了50个主题,PLDA有六个输出桩,第五个输出桩输出结果显示的是每篇文章对应的每个主题的概率。如图:

5.结果分析和评估

上一步把文章从主题的维度表示成了一个向量。接下来就可以通过向量的距离实现聚类,从而实现文章分类。我们这里可以简单看一下分类的结果。查看K均值聚类组件的结果,cluster_index表示的是每一类的名称。找到第0类,一共有docid为115,292,248,166四篇文章。

通过过滤与映射组件查询115,292,248,166四篇文章。结果如下:

效果并不十分理想,将一篇财经、一篇科技的新闻跟两个体育类新闻分到了一起。主要原因是细节的调优没有做,也没有做特征工程,同时数据量太小也是一个主要的因素。本文只是一个简单的案例,商业合作可以私下联系我们,我们在文本方面我们有较完善的解决方案。

四、其它

作者微信公众号(与我联系):

2
0
查看评论

文本分析系列——词语权重算法:TF-IDF算法

简介      TF-IDF是一种统计方法,用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。 词频(term frequency,TF)指的是某一个给定的词语在该文件中出现的频率;反文档频率(inverse document f...
  • u013654622
  • u013654622
  • 2015-09-18 17:44
  • 2355

基于大数据做文本分析

在对大数据的认识中,人们总结出它的4V特征,即容量大、多样性、生产速度快和价值密度低,为此产生出大量的技术和工具,推动大数据领域的发展。为了利用好大数据,如何有效的从其中提取有用特征,也是重要的一方面,工具和平台化必须依靠正确的数据模型和算法才能凸显出其重要的价值。 现在就文本分析作为案例来分析数...
  • victory0508
  • victory0508
  • 2016-03-01 10:52
  • 2628

【机器学习与文本分析】deep learning

  • 2014-08-07 08:48
  • 8.93MB
  • 下载

文本数据的机器学习自动分类方法(上)

随着互联网技术的迅速发展与普及,如何对浩如烟海的数据进行分类、组织和管理,已经成为一个具有重要用途的研究课题。而在这些数据中,文本数据又是数量最大的一类。以统计理论为基础,利用机器学习算法对已知的训练数据做统计分析从而获得规律,再运用规律对未知数据做预测分析,已成为文本分类领域的主流。InfoQ联合...
  • jdbc
  • jdbc
  • 2016-01-26 11:09
  • 15230

中文文本情感分析:基于机器学习方法的思路

1.常用步骤 2.中文分词 1)这是相对于英文文本情感分析,中文独有的预处理。 2)常用方法:基于词典、基于规则、基于统计、基于字标注、基于人工智能。 3)常用工具:哈工大—语言云、东北大学NiuTrans统计机器翻译系统、中科院张华平博士ICTCLAS、波森科技、结巴分词、Ansj分词,Ha...
  • u013737526
  • u013737526
  • 2017-06-14 11:01
  • 2667

根据贝叶斯定理实现的新闻自动分类

参考了网上的一些文章,实现了
  • qiruiduni
  • qiruiduni
  • 2014-08-24 23:03
  • 1650

文本分类算法分析(一种很好的文本分类算法)

  • 2010-05-12 16:07
  • 183KB
  • 下载

文本数据的机器学习自动分类方法(下)

【编者按】:随着互联网技术的迅速发展与普及,如何对浩如烟海的数据进行分类、组织和管理,已经成为一个具有重要用途的研究课题。而在这些数据中,文本数据又是数量最大的一类。以统计理论为基础,利用机器学习算法对已知的训练数据做统计分析从而获得规律,再运用规律对未知数据做预测分析,已成为文本分类领域的主流。I...
  • jdbc
  • jdbc
  • 2016-01-26 11:11
  • 4174

基于svm的中文文本自动分类系统

今天刚改完成了软件工程的大作业展示,即:基于内容的文本分类系统,使用libsvm 进行分类。在百度谷歌了很久之后,发现很少有这样的源码可以下载,本人便想着写完之后上传上去。       首先介绍一下流程:       1.先使...
  • qq_26562641
  • qq_26562641
  • 2015-12-25 13:55
  • 1787

中文关键词自动分类-----从此解放双手了

论坛大神们搞了很多关键词采集工具,神马易语言的,shell的,python的。发现没有搞了那么多关键词,处理起来真是蛋疼,要么分类去采集,要么采集后分类,还有就是原始数据可能是乱七八糟的。秋夜今天分享一个python脚本实现简易的中文文本自动分类。省不少事。我偷了个懒,没有计算词频,直接提取tf-i...
  • z747795161
  • z747795161
  • 2016-11-14 11:43
  • 1490
    我的微信公众号

    作者公众号:凡人机器学习

    凡人机器学习

    机器学习微信交流群
    为了方便大家学习与交流,凡人云近日已开通机器学习社群! 分享“凡人机器学习”公众号名片到40人以上的大群并截图给小助手,小助手就会拉你入群 在这里你可以得到: 1.各种学术讨论 2.最新的资料分享 3.不定期的征文以及联谊活动! 小助手微信号:meiwznn
    作者新书《机器学习实践应用》

    主要讲述算法和业务的结合,适合初学者

    机器学习实践应用

    京东地址

    个人资料
    • 访问:842957次
    • 积分:11262
    • 等级:
    • 排名:第1685名
    • 原创:236篇
    • 转载:40篇
    • 译文:0篇
    • 评论:460条
    博客专栏
    统计