Python 爬取书趣阁小说 学习记录

一、分析网站

1.首先随机选取一个章节，然后用谷歌开发者工具选取分析。
先分析主页：url = ‘http://www.shuquge.com/txt/8659/’

可以发现，小说的章节和一部分的url（要与主页拼接，进入小说详情页）

2.点进第七百五十三章小说的详情，用过开发者工具可以看到全部内容。
此时，url = ‘http://www.shuquge.com/txt/8659/31210137.html’

3.经过如上简单分析，得出这是一个静态网站，并且需要请求两次网站。
第一次请求，获得小说的章节名字和部分url（‘31210137.html’）。
第二次请求（'31210137.html’拼接在主页url的后面），获得小说全部内容。

二、请求网站

1.引入需要用到的库

import requests	# requests请求网站数据
import re				#	re正则表达式提取数据
import time			# 设置延迟，减缓爬取速率，防止反爬
from requests.exceptions import RequestException	# 当没有请求的数据，异常处理。

2.定义一个函数来请求网站数据，参数为url。

def get_one_page(url):
    # 请求一个页面
    try:
    	# 必要的请求头，模拟浏览器
        headers = {
            'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
        }
       # 用resquests 请求数据 
        response = requests.get(url,headers=headers)
        if response.status_code == 200:		# 当请求从成功，返回一个响应体
            return response
    except RequestException:
        return None

三、解析数据

1.定义解析数据的函数，传入页面元素。
用到re正则解析数据

• 首先解析主页的数据，为了得到小说章节名和部分url

def parse_one_page(html):
    # 解析章节的url和章节名
    r = re.findall('<dd><a href="(.*?)">(.*?)</a></dd>',html,re.S)
    return r

• 然后解析获得小说的内容

def parse_one_novel(html):
    # 解析小说
    r = re.findall('<div id="content" class="showtxt">(.*?)</div>',html,re.S)
    return r

注意：这个时候或的小说内容是含有&nbsp；br标签等不需要的内容。
保存数据时，要注意处理。

四、保存数据

1.定义写入文件的函数。

# name是小说章节名，result小说内容
def write_to_file(name,result):
    # 写入文件
    with open('剑来\{}.txt'.format(name),mode='w',encoding='utf-8')as f:
    	# 写入时，处理了数据。
        content = result[0].replace('<br>',"").replace('&nbsp;',"").replace('<br/>',"")
        f.write(content)

五、实现的主要函数：

1.获得小说章节名和部分url的列表

def url_name():
    # 获得章节的url和章节名
    url = 'http://www.shuquge.com/txt/8659/'
    html = get_one_page(url)
    html.encoding = html.apparent_encoding
    return parse_one_page(html.text)		# 返回的是一个列表
# [('31165742.html', '第七百五十二章 无巧不成书'),....]
url_name = url_name()	# 赋值给一个变量

2.获得小说一个章节的全部内容

def main(index='31210137.html'):
    # 获取小说的内容
    url = 'http://www.shuquge.com/txt/8659/'+str(index)
    html = get_one_page(url)
    # 自动转码，否则会出现乱码的情况
    html.encoding = html.apparent_encoding
    result = parse_one_novel(html.text)

六、传参使得爬取整本小说

给main()函数定义设置了两个参数，index和name
分别接受需要的章节url和小说的章节名
遍历循环url_name列表获得章节url和小说的章节名

七、全部代码

import requests
import re
import time
from requests.exceptions import RequestException

def get_one_page(url):
    # 请求一个页面
    try:
        headers = {
            'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
        }
        response = requests.get(url,headers=headers)
        if response.status_code == 200:
            return response
    except RequestException:
        return None

def parse_one_page(html):
    # 解析章节的url和章节名
    r = re.findall('<dd><a href="(.*?)">(.*?)</a></dd>',html,re.S)
    return r

def parse_one_novel(html):
    # 解析小说
    r = re.findall('<div id="content" class="showtxt">(.*?)</div>',html,re.S)
    return r

def write_to_file(name,result):
    # 写入文件
    with open('剑来\{}.txt'.format(name),mode='w',encoding='utf-8')as f:
        content = result[0].replace('<br>',"").replace('&nbsp;',"").replace('<br/>',"")
        f.write(content)

def url_name():
    # 获得章节的url和章节名
    url = 'http://www.shuquge.com/txt/8659/'
    html = get_one_page(url)
    html.encoding = html.apparent_encoding
    return parse_one_page(html.text)
# 赋值 小说名字和小说的url 如：[('31165742.html', '第七百五十二章 无巧不成书'),....]
url_name = url_name()

def main(index,name):
    # 获取小说的内容
    url = 'http://www.shuquge.com/txt/8659/'+str(index)
    html = get_one_page(url)
    html.encoding = html.apparent_encoding
    result = parse_one_novel(html.text)
	# 如果没请求到小说的数据 就反复请求，直到有数据，在写入保存数据。
    if result == []:
        main(index,name)
    if len(result):
        write_to_file(name,result)

# 循环爬取整本小说
if __name__ == '__main__':
	# 遍历url_name列表获得章节url和小说的章节名
    for item in url_name:
    # [('31165742.html', '第七百五十二章 无巧不成书'),....]	url_name中数据存储的格式
        print(f'===============正在爬取{item[1]}===============')
        main(item[0], item[1])
        time.sleep(1)