python编程篇之爬虫(二)

python编程篇之爬虫(二)

今天来介绍使用urllib库爬取整本小说的程序

import urllib.request
import re
# 伪装成浏览器
header = (
    "User-Agent",
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36"
)

openr = urllib.request.build_opener()
openr.addheaders = [header]
urllib.request.install_opener(openr)

url = 'https://www.ybdu.com/xiaoshuo/0/910/4195702.html'
while True:
# file = urllib.request.urlretrieve(url, filename="E:/VSCodeSpace/小说爬虫/小说网页/斗罗大陆1.html")
    # 当url为目录时，说明章节已经爬取完毕，退出循环
    if url == 'https://www.ybdu.com/xiaoshuo/0/910/':
        break
    data = urllib.request.urlopen(url).read().decode('gbk', 'ignore')
    # 标题，小说内容，以及下一章网站的正则
    title_pat = '<h1>(.*?)</h1>'
    content_pat = 'class="contentbox">(.*?)<div'
    next_url = '<a href="(.*?)".*?id'
    # 通过正则获取内容
    title = re.compile(title_pat).findall(data)
    title = title[0]
    # print(title)
    content = re.compile(content_pat,re.S).findall(data)
    content = content[0]
    # print(content)
    '''
    处理content中的多余符号
    '''
    content = content.replace("&nbsp;", "")
    content = content.replace("<br />", "\n")

    # print(url)
    # 将获取到的小说标题以及内容存储到txt中，注意编码，以及文件的打开方式为追加，否则打不得想要的结果
    with open("E:/VSCodeSpace/小说爬虫/小说/斗罗大陆.txt", "a+", encoding="utf-8") as fh:
        fh.write(title)
        fh.write('\n')
        fh.write(content)
        fh.write('\n\n')

这样，一整本《斗罗大陆》就爬取完毕了。