基于newspaper、bs4、正则表达式的通用文章抽取模块

2019独角兽企业重金招聘Python工程师标准>>>

爬虫系统里，有一个重要模块，就是内容抽取。最简单的办法，可以为每一个网站配置模板，比如字符串前后缀匹配，正则表达式，或者xpath或css。本文重点关注是资讯类的正文页内容抽取。

抽取的内容包括：标题，正文，发布时间

因为这三个部分都比较有特点，不必要为每个网站都配置一个模板，即耗时还需要维护规则。我们建立一个容错性较好的通用抽取模块。

首先介绍一个组件：newspaper。直接pip install newspaper3k即可。

使用也比较简单，把html文本串传进去，调用parse即可。

art = Article('', language='zh')
art.set_html(html)
art.parse()

抽取得到的结果在art.text和art.title里。它是基于统计文本块的机器学习方法，对于正文页抽取结果还是不错的。

content = art.text.strip()
title = art.title.strip()

考虑到可能的抽取失败，我们做下title的容错，用bs4里的解析器，网页title字段是肯定存在的，只不过，大部分网站都会带一个尾巴：

soup = BeautifulSoup(html, 'lxml')
#做title的容错
if title == '':
    title = soup.title.get_text().strip()

#过滤标题里的尾巴
def filte_title(title):
    chars = ['_','-',' ']
    for char in chars:
        if title.find(char) > -1:
            title = title[0:title.rindex(char)]
            return title
    return title

日期的规则大部分网站都是确定的，这里选用正则表达式很合适：

def extra_datetime(string):
    pattern = re.compile(r'(19|20)[\d]{2}(年|-|.)[\d]{2}(月-|.)[\d]{2} [\d]{2}:[\d]{2}(:[\d]{2})?')
    # 使用Pattern匹配文本，获得匹配结果，无法匹配时将返回None
    match = pattern.search(string)
    if match:
        # 使用Match获得分组信息
        return match.group()

然后我们把抽取到的时间字符串转为datetime格式：

def convert_dt(string):
    pattern = re.compile(r'(?P<year>(19|20)[\d]{2})(年|-|.)(?P<month>[\d]{2})(月-|.)(?P<day>[\d]{2}) (?P<hour>[\d]{2}):(?P<min>[\d]{2})(:[\d]{2})?')
    match = pattern.match(string)
    if match:
        date_dict = match.groupdict()
        print(date_dict)
        dt = datetime(int(date_dict['year']),int(date_dict['month']),int(date_dict['day']),hour=int(date_dict['hour']),minute=int(date_dict['min']))
        return dt

这个补充一个requests的问题：

import requests
from bs4 import BeautifulSoup
def get_html(url):
    headers = {'user-agent': 'Mozilla/5.0 (X11; Linux i686) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.43 Safari/537.31'}
    r = requests.get(url,headers=headers)
    if r.encoding == 'ISO-8859-1':
        r.encoding = "utf-8"
    return r.text

注意如下这两行：

if r.encoding == 'ISO-8859-1':
        r.encoding = "utf-8"

如果编码识别成了ISO-88590-1，大概率是识别错的，把编码手动置为正确的即可，否则会出现乱码。

关于作者：魏佳斌，互联网产品/技术总监，北京大学光华管理学院（MBA）,特许金融分析师（CFA），资深产品经理/码农。偏爱python，深度关注互联网趋势，人工智能，AI金融量化。致力于使用最前沿的认知技术去理解这个复杂的世界。

扫描下方二维码，关注：AI量化实验室（ailabx），了解AI量化最前沿技术、资讯。

转载于:https://my.oschina.net/u/1996852/blog/1558803