一种提取HTML网页正文的方法

这里所说的正文提取主要是针对新闻页面等网页的主体是文字的HTML页面。在做一些与文本处理相关的实验时往往需要大量的文本，虽然网络上已经存在了一些开放数据集如搜狗语料库，但是有的时候也需要根据具体的需求来爬取特定的网站。在我们通过算法获得了需要的HTML页面以后，如何获取页面的正文是一个需要考虑的问题。如果是针对某一个网站的爬取工作，同一网站编码风格往往是一致的，这时只需要简单的浏览一下包含正文的标签，就能发现规律（一个网站的网页正文一般都包含在具有指定id或class的标签下，或者可以根据多个属性的组合来定位正文，因为所有的包含正文的标签结构是一致的）。但是如果在像百度新闻这样的搜索平台中爬新闻，不同的网页来自于不同的网站，没有固定的结构，就需要一种通用的方法。这里我介绍一种自己想到的方法，针对绝大多数的新闻网站都可以有效的提取正文。

这个方法其实思路很简单，分为以下三个步骤：

1. 提取所有的div标签。

2. 提取每一个div标签里包含的p标签内容并保存在变量content中，对于div标签中嵌套的div标签直接过滤掉。

3. 保存具有最长size的content作为该网页的正文。

在研究了很多HTML页面之后，我发现所有的正文都包含在div标签中，而且他们之间的层次关系很近，所以以div标签为出发点可以最大程度减小搜索范围。由于正文多被一个或多个p标签包含ÿ