Python爬虫——用正则表达式爬取小说内容

用Python爬取—灵武封神_第一章 死里逃生

import requests
import re
import json
from requests.exceptions import RequestException


def get_one_page(url):
    try:
        headers = {
        'User_Agent': 'Mozilla/5.0 (Macintosh; Inter Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.162 Safari/537.36'
        }   # 设置代理服务器
        response = requests.get(url, headers=headers)
        if response.status_code == 200:
            response.encoding = 'utf8'      # 如果不加这条语句，输出爬取的信息为乱码！
            # 爬取下来的编码是ISO-8859-1格式，需要转化为utf-8格式，加一句response.encoding = “utf8”
            return response.text
        return None
    except RequestException:
        return None


"""
try-except代码块；
如果try代码块中的代码运行起来没有问题，Python将跳过except代码块；
如果try代码块中的代码导致了错误，Python将查找这样的except代码块，并运行其中的代码，即其中指定的错误与引发的错误相同
"""


def parse_one_page(html):
    pattern = re.compile('<title>(.*?)</title>.*?<div class="title_txtbox">(.*?)</div>.*?"acticleBody">.*?<p>(.*?)</div>', re.S)
    items = re.findall(pattern, html)       # findall()匹配的是正则表达式()里的内容，如果有返回结果的话，就是列表类型。有(),则只返回()里的内容；没有()，则返回正则表达式的内容。
    # items = re.search(pattern, html)      # search()匹配的是正则表达式的内容
    for item in items:
        yield{
            'title': item[0],
            'name': item[1],
            'content': item[2]
        }
        # print(item)


def write_to_file(content):
    """写入文件"""
    with open('lingwufengshen.txt', 'a', encoding='utf-8') as f:    # 实参'a',以便将内容附加到文件末尾,而不是覆盖文件原来的内容；'w'会覆盖文件原来的内容
        print(type(json.dumps(content)))
        f.write(json.dumps(content, ensure_ascii=False)+'\n')       # json.loads（） 是将字符串传化为字典；json.dumps (） 是将字典转化为字符串
# 通过JSON 库的dumps()方法实现字典的序列化,并指定ensure_ascii参数为False,保证输出结果是中文形式而不是Unicode编码


def main():
    url = 'http://book.zongheng.com/chapter/891033/58356325.html'
    html = get_one_page(url)
    # print(html)
    for item in parse_one_page(html):
        write_to_file(item)


if __name__ == '__main__':
    # __name__是内置变量，可用于表示当前模块的名字
    # if __name__=='__main__'下的代码只能被自己直接执行，不能被其他程序import调用执行；
    main()

# 在network的response中查看原始请求得到的源码