爬取起点中文网免费小说
小说链接:https://book.qidian.com/info/1012136018
起点中文网是我很喜欢的一个网站,那么学完Python爬虫后我们来试着爬取一本起点的小说吧
面向纯小白的代码
环境:python3.6 ,解析使用pyquery
爬一本小说有个思路,有了这个思路, 你可以爬任意一本想看的小说,所以说代码不是关键,思路才是最重要的
思路如下:
- 确定请求的链接 :https://book.qidian.com/info/1012136018
- 获取全部章节的链接
- 请求每一章的链接,获取小说内容
- 将要保存的内容写入文件
ok 且看代码注释:
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time : 2018/11/5 15:42
# @Desc : 爬起点小说
import requests
from pyquery import PyQuery as pq
# 这里我使用了代理 你可以去掉