新闻关键字提取和新闻推荐

新闻关键字提取和新闻推荐

jieba——超好用的分词器

在介绍我自己的关键字提取之前先介绍一下这个中文处理的包，现在在中文处理里使用非常广泛，也真的效率很高使用便捷。有非常多的功能，也有关键字提取的功能，但是效率一般，不如它的分词功能使用的人多，那么我介绍一下在我的代码会用到的它的2个功能。

结巴分词分为三种模式：精确模式（默认）、全模式和搜索引擎模式，下面对这三种模式分别举例介绍：

精确模式

import jieba
s = u'我想和女朋友一起去北京故宫博物院参观和闲逛。'

cut = jieba.cut(s)

print '【Output】'
print cut
print ','.join(cut)

【Output】
<generator object cut at 0x7f8dbc0efc30>
我,想,和,女朋友,一起,去,北京故宫博物院,参观,和,闲逛,。

可见分词结果返回的是一个生成器（这对大数据量数据的分词尤为重要）。

全模式

print '【Output】'
print ','.join(jieba.cut(s,cut_all = True))

【Output】
我,想,和,女朋友,朋友,一起,去,北京,北京故宫,北京故宫博物院,故宫,故宫博物院,博物,博物院,参观,和,闲逛,,

可见全模式就是把文本分成尽可能多的词。

搜索引擎模式

print '【Output】'
print ','.join(jieba.cut_for_search(s))

【Output】
我,想,和,朋友,女朋友,一起,去,北京,故宫,博物,博物院,北京故宫博物院,参观,和,闲逛,。

获取词性

每个词都有其词性，比如名词、动词、代词等，结巴分词的结果也可以带上每个词的词性，要用到jieba.posseg，举例如下：

import jieba.posseg as psg
print '【Output】'
print [(x.word,x.flag) for x in psg.cut(s)]

# 输出：
'''
[(u'我', u'r'), (u'想', u'v'), (u'和', u'c'), (u'女朋友', u'n'), (u'一起', u'm'), 
(u'去', u'v'), (u'北京故宫博物院', u'ns'), (u'参观', u'n'), (u'和', u'c'), (u'闲逛', u'v'), (u'。', u'x')]
'''

可以看到成功获取到每个词的词性，这对于我们对分词结果做进一步处理很有帮助，比如只想获取分词结果列表中的名词，那么就可以这样过滤：

print [(x.word,x.flag) for x in psg.cut(s) if x.flag.startswith('n')]

# 输出：
'''
[(u'女朋友', u'n'), (u'北京故宫博物院', u'ns'), (u'参观', u'n')]
'''

至于词性的每个字母分别表示什么词性，jieba分词的结果可能有哪些词性，就要去查阅词性对照表了，本文结尾附了一份从网上搜到的词性对照表，想了解更详细的词性分类信息，可以到网上搜索”结巴分词词性对照”。

关键词提取

只要关键词提取准确，新闻推荐就不是什么难事了，在经过各方调查和各种资料的阅读，我发现要想得到非常准确的新闻关键字，即得到某词在文章中的关键程度，有两方面因素都需要考虑：

• 词本身（词长0.1，词性0.8，词频0.3）0.4

• 居间度0.6

  tw = 0.4  # 词权重
  vdw = 0.6  # 居间度权重
  lenw = 0.1  # 词长权重
  posw = 0.8  # 词性权重
  tfw = 0.3  # tf词频权重

  ​

  以上的小数为每一项因素在我的程序中所占的比例，仅为我个人的想法，可以依据实际情况改动。词长非常容易理解，词的长度。词性是根据jieba分词判断的词性，给出一个该词性在一篇文章中一般来讲的重要程度，比如名词等词性相对来讲会更重要一些，而连词介词则是重要度为0的需要尽量剔除的词。这里给出一份参考的词性重要度表。词频也是字面意思，在一篇文章中词的频率。

n 0.8
nr