一、目标
爬取起点小说一本免费小说,并将所有章节名称和内容都保存到本地
我选择爬取“”我真的好想打球“”
二、分析
2.1 网页分析
ctrl+U 进入网页的源代码,输入任意章节名称,可以在代码中找到,初步判定该网页为静态加载的
2.2 反爬分析
同样的IP爬取可能会被反爬,所有我选择 fake_useragent 三方库来生成随机的User-Agent
三、注意点
1.要将爬取的内容进行数据的清洗
四、完整代码
import requests
from fake_useragent import UserAgent
from lxml import etree
class Spider_novel(object):
def __init__(self):
ua = UserAgent()
self.headers = {
'User-Agent': ua.random
}