python网页优化_Python readability提取网页正文的优化

Python readability的使用：

from readability.readability import Document

import urllib

html = urllib.urlopen(url).read()

readable_article = Document(html).summary()

readable_title = Document(html).short_title()

最后抽取出来的readable_article是带HTML标签的文本。然而在好多情况下经过readability过滤后的带HTML标签的文本是我们不想要的，也就是readability取错内容了，面对这种情况我们可以先对传入前的html操作。

例如，需要提取的正文在

下即

与

之间，我们可以采取下面的操作。

from readability.readability import Document

from scrapy .selector import HtmlXPathSelector

from scrapy.http import HtmlResponse

import urllib

html = urllib.urlopen(url).read()

content_t = html.split('

')[-1].strip().split('