pycetr: 从html文档中提取文档内容

html文档中通常夹杂着各种广告，相关性链接等，提取正文比较困难。

pycetr是一个开源项目，用python语言实现了html文档的正文提取。算法基于文章

http://www.cs.uiuc.edu/~hanj/pdf/www10_tweninger.pdf

Content Extraction via Tag Ratios

基本思想是将html分成行，计算每行的文本内容和html tag的比值，显然比值越大的，更倾向于是正文内容，而不是广告神马的。

源代码在https://github.com/superisaac/pycetr

实验执行方法为
python -m cetr <url>

由于python的HTMLParser太不健壮，很多网站都无法执行，是件憾事。