我们可以读取文本的标题,将标题也加入正文做为分词计算先验概率的对象,因为标题往往是全文的主题
if len(page_content.strip())>0:
ybtxt[ci].append(page_content)
try:
print my_soup.title.string.encode('gb2312')
page_content=my_soup.title.string+page_content
except:
print "...."
finally:
print "-done."
运行python程序后,分类效果不错
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
读取待分类文本
计算待分类文本后验概率
car.txt:汽车
计算待分类文本后验概率
war3.txt:军事
>>>
本博客所有内容是原创,如果转载请注明来源
http://blog.csdn.net/myhaspl/
下一步,我们将程序修改后,直接读取未知网页文件进行分类,下面读取了2个网页链接,将这2个链接代表的网页进行分类,分别归属到以下几个类中
汽车 http://finance.chinanews.com/auto/gd.shtml
财经 http://finance.chinanews.com/cj/gd.shtml
健康 http://www.chinanews.com/jiankang.shtml
教育 http://www.chinanews.com/jiaoyu.shtml
军事 http://www.chinanews.com/mil/news.shtml
读取网页文件
##读取待分类文本
print u"\n读取待分类文本"
ftestlinks=[]
ftestlinks.append(r'http://www.chinanews.com/edu/2013/09-17/5296319.shtml')
ftestlinks.append(r'http://finance.chinanews.com/auto/2013/09-16/5290491.shtml')
for mypage in ftestlinks:
my_page=urllib2.urlopen(mypage)
my_soup = BeautifulSoup(my_page,from_encoding="gb2312")
.............................
page_content=my_soup.title.string+page_content
print u"%s读取成功."%mypage
计算后验概率
#计算待分类文本后验概率
print u"计算待分类文本后验概率"
testgl=None
wordgl=None
testgl=np.repeat(1.,len(yb_txt))
if len(page_content.strip())>0:
ftest_seg_list = jieba.cut(page_content)
for myword in ftest_seg_list:
myword=myword.encode('gbk')
if not(myword.strip() in f_stop_seg_list) and len(myword.strip())>2:
for i in xrange(0,len(yb_txt)):
............................
计算最大归属概率
#计算最大归属概率
maxgl=0.
mychoice=0
for ti in xrange(0,len(yb_txt)):
if testgl[ti]>maxgl:
maxgl=testgl[ti]
mychoice=ti
print "\n\n%s\n:%s"%(mypage,txt_class[mychoice][0])
运行后,效果不错
>>> runfile(r'K:\book_prog\text_bayes2.py', wdir=r'K:\book_prog')
. . . . .
爬取汽车类网页:http://finance.chinanews.com/auto/gd.shtml
http://www.chinanews.com/auto/2013/09-18/5301023.shtml
http://www.chinanews.com/auto/2013/09-18/5301017.shtml
http://www.chinanews.com/auto/2013/09-18/5300854.shtml
.....................
读取待分类文本
http://www.chinanews.com/edu/2013/09-17/5296319.shtml读取成功.
计算待分类文本后验概率
http://www.chinanews.com/edu/2013/09-17/5296319.shtml
:教育
http://finance.chinanews.com/auto/2013/09-16/5290491.shtml读取成功.
计算待分类文本后验概率
http://finance.chinanews.com/auto/2013/09-16/5290491.shtml
:汽车
>>>