网页详情页通用提取——通用新闻网站正文抽取器

页面标题的爬取 以及页面text的爬取

python 新闻网站通用爬虫

GNE(GeneralNewsExtractor)是一个通用新闻网站正文抽取模块，输入一篇新闻网页的 HTML， 输出正文内容、标题、作者、发布时间、正文中的图片地址和正文所在的标签源代码。GNE 在提取今日头条、网易新闻、游民星空、 观察者网、凤凰网、腾讯新闻、ReadHub、新浪新闻等数百个中文新闻网站上效果非常出色，几乎能够达到 100%的准确率。

from gne import GeneralNewsExtractor

extractor = GeneralNewsExtractor()
html = '网站源代码'
result = extractor.extract(html)
print(result)

安装

pip install gne -i https://mirrors.163.com/pypi/simple/

功能特性

获取正文源代码

在 extract() 方法只传入网页源代码，不添加任何额外参数时，GNE 返回如下字段：

• title：新闻标题
• publish_time：新闻发布时间
• author：新闻作者
• content：新闻正文
• images: 正文中的图片(相对路径或者绝对路径)

可能有些朋友希望获取新闻正文所在标签的源代码，此时可以给 extract() 方法传入 with_body_html 参数，设置为 True：

extractor = GeneralNewsExtractor()
extractor.extract(html, with_body_html=True)

总是返回图片的绝对路径

默认情况下，如果新闻中的图片使用的是相对路径，那么 GNE 返回的 images 字段对应的值也是图片相对路径的列表。
如果你想始终让 GNE 返回绝对路径，那么你可以给 extract() 方法增加 host 参数，这个参数的值是图片的域名，例如：

extractor = GeneralNewsExtractor()
extractor.extract(html, host='https://www.kingname.info')

这样，如果新闻中的图片是 /images/pic.png ，那么 GNE 返回时会自动把它变为 https://www.kingname.info/images/pic.png 。

指定新闻标题所在的 XPath

GNE 预定义了一组 XPath 和正则表达式用于提取新闻的标题。但某些特殊的新闻网站可能无法提取标题，此时，你可以给 extract() 方法指定 title_xpath 参数，用于提取新闻标题：

extractor = GeneralNewsExtractor()
extractor.extract(html, title_xpath='//title/text()')

提前移除噪声标签

某些新闻下面可能会存在长篇大论的评论，这些评论看起来比新闻正文“更像”正文，为了防止他们干扰新闻的提取，可以通过给 extract() 方法传入 noise_node_list 参数，提前把这些噪声节点移除。noise_node_list 的值是一个列表，里面是一个或多个 XPath

extractor = GeneralNewsExtractor()
extractor.extract(html, noise_node_list=['//div[@class="comment-list"]', '//*[@style="display:none"]'])

使用配置文件

API 中的参数 title_xpath 、 host 、 noise_node_list 、 with_body_html 除了直接写到 extract() 方法中外，还可以通过一个配置文件来设置。
请在项目的根目录创建一个文件 .gne ，配置文件可以用 YAML 格式，也可以使用 JSON 格式。

• YAML 格式配置文件

title:
   xpath: //title/text()
host: https://www.xxx.com
noise_node_list:
   - //div[@class=\"comment-list\"]
   - //*[@style=\"display:none\"]
with_body_html: true

• JSON 格式配置文件

{
   "title": {
       "xpath": "//title/text()"
   },
   "host": "https://www.xxx.com",
   "noise_node_list": ["//div[@class=\"comment-list\"]",
                       "//*[@style=\"display:none\"]"],
   "with_body_html": true
}

这两种写法是完全等价的。
配置文件与 extract() 方法的参数一样，并不是所有字段都需要提供。你可以组合填写你需要的字段。
如果一个参数，既在 extract() 方法中，又在 .gne 配置文件中，但值不一样，那么 extract() 方法中的这个参数的优先级更高。

FAQ

GeneralNewsExtractor(以下简称 GNE)是爬虫吗？

GNE 不是爬虫，它的项目名称 General News Extractor 表示通用新闻抽取器。它的输入是 HTML，输出是一个包含新闻标题，新闻正文，作者，发布时间的字典。你需要自行设法获取目标网页的 HTML。
GNE 现在不会，将来也不会提供请求网页的功能。

GNE 支持翻页吗？

GNE 不支持翻页。因为 GNE 不会提供网页请求的功能，所以你需要自行获取每一页的 HTML，并分别传递给 GNE。

GNE 支持哪些版本的 Python？

不小于 Python 3.6.0

我用 requests/Scrapy 获取的 HTML 传入 GNE，为什么不能提取正文？

GNE 是基于 HTML 来提取正文的，所以传入的 HTML 一定要是经过 JavaScript 渲染以后的 HTML。而 requests 和 Scrapy 获取的只是 JavaScript 渲染之前的源代码，所以无法正确提取。
另外，有一些网页，例如今日头条，它的新闻正文实际上是以 JSON 格式直接写在网页源代码的，当页面在浏览器上面打开的时候，JavaScript 把源代码里面的正文解析为 HTML。这种情况下，你在 Chrome 上面就看不到 Ajax 请求。
所以建议你使用 Puppeteer/Pyppeteer/Selenium 之类的工具获取经过渲染的 HTML 再传入 GNE。

API

GeneralNewsExtractor 的函数原型为：

class GeneralNewsExtractor:
    def extract(self,
                html,
                title_xpath='',
                host='',
                author_xpath='',
                publish_time_xpath='',
                body_xpath='',
                noise_node_list=None,
                with_body_html=False,
                use_visiable_info=False)

各个参数的意义如下：

• html(str): 必填，目标网站的源代码
• title_xpath(str): 可选，新闻标题的 XPath，用于定向提取标题
• host(str): 可选，图片所在的域名，例如 https://www.kingname.info, 那么，当GNE 从新闻网站提取到图片的相对连接/images/123.png时，会把 host 拼接上去，变成https://www.kingname.info/images/123.png
• body_xpath(str): 可选，新闻正文所在的标签的 XPath，用于缩小提取正文的范围，降低噪音
• noise_node_list(List[str]): 可选，一个包含 XPath 的列表。这个列表中的 XPath 对应的标签，会在预处理时被直接删除掉，从而避免他们影响新闻正文的提取
• with_body_html(bool): 可选，默认为 False，此时，返回的提取结果不含新闻正文所在标签的 HTML 源代码。当把它设置为 True 时，返回的结果会包含字段 body_html，内容是新闻正文所在标签的 HTML 源代码
• author_xpath(str): 可选，文章作者的 XPath，用于定向提取文章作者
• publish_time_xpath(str): 可选，文章发布时间的 XPath，用于定向提取文章发布时间
• use_visiable_info(bool): 可选，HTML 是否带有节点坐标和可视化信息

官网地址：https://generalnewsextractor.readthedocs.io/zh_CN/latest/github地址：https://github.com/GeneralNewsExtractor/GeneralNewsExtractor