Python 小笔记 (5) 爬虫起步(小说网站)

**

爬取小说网页步骤

**
                             ——爬取小说并写入txt文件

1.使用到库文件

• requests：用于get请求
• bs4：网页解析
• re：正则表达式

2,对网页文件结构进行分析（谷歌浏览器）
       根据红框内网址http://biquge.com.cn/book/8012/,可以推出每本书都有唯一ID，例如这里的8012，可通过修改网址中ID部分到达不同小说主页；

3.获取网页的请求头文件
       打开谷歌的开发者工具，选择Network，点击Name框下列表的第一个选项，如果没有对应的列表信息，刷新一下网页即可；

       读取其中Request Headers选项为字典；

4.分析每章小说网页结构
从开发者工具中找到你想要的网页元素，这里我们主要需要：

• bookname：可获取章节名称
• content：可获取章节内容
• bottom2：可获取下一章节地址

5.具体代码

#coding:utf-8
import  requests
import threading
from bs4 import BeautifulSoup
import re
import os
import time
import sys

req_header={ #获取网页的请求头文件
'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
'Accept-Encoding':'gzip, deflate, br',
'Accept-Language':'en,zh;q=0.9,zh-CN;q=0.8',
'Cache-Control':'max-age=0',
'Connection':'keep-alive',
'Cookie':'UM_distinctid=172ae87b8a378-08226b3f44fef7-f7d123e-144000-172ae87b8a43a9; CNZZDATA1264388021=1696797693-1592062375-https%253A%252F%252Fwww.google.com.hk%252F%7C1592062375; Hm_lvt_79146f7516f35fe12fd594789a89d25d=1592066030; Hm_lpvt_79146f7516f35fe12fd594789a89d25d=1592066084',
'Host':'www.biquge.com.cn',
'Referer':'https://www.biquge.com.cn/book/',
'Sec-Fetch_Dest':'document',
'Sec-Fetch_Mode':'navigate',
'Sec-Fetch_Site':'same-origin',
'Sec-Fetch_User':'?1',
'Upgrade-Insecure-Requests':'1',
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36'
}


req_url_base='https://www.biquge.com.cn/book/'           #小说主地址
# req_url=req_url_base+'8012/'
# txt_section='320525.html'
#小说下载函数
#txt_id：小说编号
#txt字典项介绍
#id：小说编号
# title：小说题目
# first_page：第一章页面
# txt_section：章节地址
# section_name：章节名称
# section_text：章节正文
# section_ct：章节页数
def get_txt(txt_id):
    txt={}
    txt['title']=''
    txt['id']=str(txt_id)

    #print("请输入需要下载的小说编号：")
    #txt['id']=input()
    req_url=req_url_base+ txt['id']+'/'                        #根据小说编号获取小说URL
    print("小说编号："+txt['id'])
    res=requests.get(req_url,params=req_header)             #获取小说目录界面
    soups=BeautifulSoup(res.text,"html.parser")           #soup转化
    #获取小说题目
    txt['title']=soups.select('#wrapper .box_con #maininfo #info h1')[0].text
    txt['author']=soups.select('#wrapper .box_con #maininfo #info p')
    #获取小说作者
    txt['author']=txt['author'][0].text
    #获取小说简介
    txt['intro']=soups.select('#wrapper .box_con #maininfo #intro')[0].text.strip()
    print("编号："+'{0:0>8}   '.format(txt['id'])+  "\n小说名：《"+txt['title']+"》"+ "\n开始下载。")
    print("正在获取所有章节地址。。。")
    #获取小说所有章节信息
    all_page_address=soups.select('#wrapper .box_con #list dl dd a')
    #print("所有章节链接")
    # 获取小说总章页面数
    section_ct=len(all_page_address)
    print("小说章节数：" + str(section_ct))
    txt['links'], txt['names'] = [], []
    for x in all_page_address:
        txt['links'].append(x['href'].replace('/book/8012/', ''))
        txt['names'].append(x.string)
    """
    for i in range(section_ct):
        print(txt['links'][i]+":"+txt['names'][i])
    """
    #将每一章内容写入txt文件
    with open('大主宰.txt', 'w', encoding="utf-8") as file_object:
        file_object.write("小说编号："+txt['id']+'\n')
        file_object.write("小说题目:"+txt['title']+'\n')
        file_object.write(txt['author']+'\n')
        file_object.write("小说简介:\n"+txt['intro']+'\n')
        for i in range(section_ct):
            r = requests.get(req_url + txt['links'][i], params=req_header)
            # soup转换
            soup = BeautifulSoup(r.text, "html.parser")
            # 获取章节名称
            section_name = soup.select('#wrapper .content_read .box_con .bookname h1')[0].text
            # 获取章节文本
            section_text = soup.select('#wrapper .content_read .box_con #content')[0]
            for ss in section_text.select("script"):  # 删除无用项
                ss.decompose()
            # 获取章节文本
            section_text = re.sub('\s+', '\r\n\t', section_text.text).strip('\r\n')
            file_object.write(section_name+'\n')
            file_object.write(section_text+'\n\n')
            print(section_name+"     下载完毕")

    print("全书下载完毕")

#调用函数，填入小说编号
get_txt(8012)

本文参考：https://blog.csdn.net/baidu_26678247/article/details/75086587
如有侵删；