python爬虫实战(2) 爬取小说

最新推荐文章于 2024-01-31 09:00:00 发布

Marvo_XD

最新推荐文章于 2024-01-31 09:00:00 发布

阅读量313

点赞数

文章标签： python

本文链接：https://blog.csdn.net/baidu_41825032/article/details/106910052

版权

目标阶段：单章爬取→单个文章爬取→排行榜批量爬取

单章爬取

比较简单直接贴代码：

'''
爬取笔趣阁单独某个小说的所有章节
《异常生物见闻录》
'''
# coding:utf-8
import requests
import time
from bs4 import BeautifulSoup
import json

def get_html(url):
    
    ''' 
    获取网页html
    '''
    headers = {
   
        'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'