python分类信息网_web-classify 用于网页分类的python工具包

本工具包将一些常用的网页分类不同语言的相关开源软件，如ictclas，BeautifulSoup，libsvm等进行封装组合，以方便用python进行网页分类相关程序的开发。

# uitl:一些常用的开源软件包 ## ictclas:中文分词，包含词频统计，关键词提取，指纹提取等功能。不同的机器上使用，需要重新编译。

## ictclas.py:我对ictclas的python封装(其实就是简单的用python调用ictclas)使用说明： from mypack.util.ictclas import ICTclas ic = ICTclas( text ) ic.finger() #返回text的指纹 ic.words() #返回list:[(word,num),(word,num),...]

## smallseg:一个轻量级开源python分词程序使用说明： from mypack.util.smallseg.myseg import seg word_nums = seg( text ) #返回list:[(word,num),(word,num),...]

## htmlproc:一些常用的html处理程序

### chardet 自动编码检测与转换

### parser.py 对以上两个的封装使用说明: pr = Parser()if pr.parse( url ):print pr.get_html() #返回网页的html格式 print pr.get_text().encode('utf-8') #返回网页中的字符串

### crawl.py 使用pycurl的单个网页爬取程序,由于pycurl速度并不比urllib快，所以没啥用

# classify:文本分类模块说明

## preprocess

### ch