Python网络爬虫--项目实战（2）--起点小说爬取

一、目标

爬取起点小说一本免费小说，并将所有章节名称和内容都保存到本地
我选择爬取“”我真的好想打球“”

二、分析

2.1 网页分析

ctrl+U 进入网页的源代码，输入任意章节名称，可以在代码中找到，初步判定该网页为静态加载的

2.2 反爬分析

同样的IP爬取可能会被反爬，所有我选择 fake_useragent 三方库来生成随机的User-Agent

三、注意点

1.要将爬取的内容进行数据的清洗

四、完整代码

import requests
from fake_useragent import UserAgent
from lxml import etree


class Spider_novel(object):

    def __init__(self):
        ua = UserAgent()
        self.headers = {
   
            'User-Agent': ua.random
        }