爬取一本小说

学习目标:

1.解析网页得到第一个url，拿到章节目录

2.解析网页拿到第二个的url 进行下载

3.代码部分分析

---

学习内容:

一.解析网页得到第一个url，拿到章节目录

首先我们进入到这个网址https://dushu.baidu.com/pc/detail?gid=4306063500，按12拿到第一个url

https://dushu.baidu.com/api/pc/getDetail?data={%22book_id%22:%224306063500%22} 接着我们对这个url做一个处理得到最后的url 

https://dushu.baidu.com/api/pc/getCatalog?data={"book_id":"4306063500"}  （第一个url）

 2.解析网页拿到第二个的url 进行下载

我们保持代码检查工具不管的情况下，点进去章节内容，这样就会刷出来新的内容，接着我们找

符合的能看到章节内容的对应的url  （data-----novel----content）

最终的url是

'https://dushu.baidu.com/api/pc/getCatalog?data={"book_id":"' + b_id + '"}'（第二个ur

三.代码部分

1.工具：PyCharm 2021.2

2.环境版本  python 3.8

3.需要下载的依赖包（命令） *在电脑终端输入

pip install requests
pip install asyncio
pip install aiohttp
pip install json
pip install aiofiles

代码如下实例

#第一个url  https://dushu.baidu.com/api/pc/getCatalog?data={"book_id":"4306063500"}
# https://dushu.baidu.com/api/pc/getDetail?data={%22book_id%22:%224306063500%22}
# 所有章节的内容

#章节内部的内容

#https://dushu.baidu.com/api/pc/getChapterContent?data={"book_id":"4306063500","cid":"4306063500|11348571","need_bookinfo":1}

import requests
import asyncio
import aiohttp
import json
import aiofiles

#aiofiles是一个用Python编写，用于处理asyncio应用程序中的本地磁盘文件

'''
1. 同步操作，访问getCatalog 拿到所有章节的cid和名称
2.异步操作 访问geChapterContent 下载所有的文章内容

'''
async def aiodownload(cid,b_id,title):
    data = {
        "book_id":4306063500,
        "cid":"4306063500|11348658",
        "need_bookinfo": 0
    }
    data = json.dumps(data)

    url = f"https://dushu.baidu.com/api/pc/getChapterContent?data={data}" #第一个url

    async with aiohttp.ClientSession() as session:
        async with session.get(url) as resp: #发送请求
            dic = await resp.json()
            #从发送请求里得到我们需要的json文件

            async with aiofiles.open(title, mode="w", encoding="utf-8") as f:
                await f.write(dic['data']['novel']['content']) 
#从json里提取数据，并写入到文件里




async def getCatalog(url):
    resp = requests.get(url)
    dic = resp.json()
    tasks = []  #准备一个列表，往进去扔自己需要的参数
    for item in dic['data']['novel']['items']: #items就是对应每一个章节的内容和cid
        title = item['title']
        cid = item['cid']
        # 准备异步任务
        tasks.append(aiodownload(cid, b_id, title)) #三个参数传过去
    await asyncio.wait(tasks)



if __name__ == '__main__':
    b_id = "4306063500"
    url = 'https://dushu.baidu.com/api/pc/getCatalog?data={"book_id":"' + b_id + '"}' 

#第二个url

    loop = asyncio.get_event_loop()
    loop.run_until_complete(getCatalog(url))

#这块的设置不会抛出异常，我自己做了很多的测试

这块用到的是异步操作，会提高一些速度，你们也可以自己试试。

4.效果展示：

---

总结:

爬虫这个知识我也是在慢慢的摸索，就是自己学完了，再来写一下博客，根据自己理解的去分享给大家，让大家一起学习，在计算机这条路上越走越远！有不足的地方还请各路大神指正，毕竟学习存在严谨性！！！