使用BeautifulSoup爬取笔趣阁小说

最新推荐文章于 2024-08-14 08:38:25 发布

NeutronT

最新推荐文章于 2024-08-14 08:38:25 发布

阅读量1.9k

点赞数 2

文章标签：爬虫

本文链接：https://blog.csdn.net/NeutronT/article/details/82917536

版权

本文演示了如何利用BeautifulSoup爬取笔趣阁上的小说《元尊》，逐步爬取了从第1章到第9章的内容，共597章。

摘要由CSDN通过智能技术生成

使用BeautifulSoup爬取笔趣阁小说

- 代码
- 实验一下

今天下午学习了一下BeautifulSoup，正好本人书荒，于是以笔趣阁网站为研究对象，就写了个爬小说的代码。放上来供大家参考，也请高手指正。
先放代码：

代码

import urllib.request as ur
from bs4 import BeautifulSoup
import ssl
import re


def get_soup(address):
    '''抓取网页，创建BeautifulSoup对象'''
    context = ssl._create_unverified_context()  # 取消验证
    headers = {
    'User-Agent': 'Chrome/68.0.3440.84'}
    request = ur.Request(address, headers=headers)
    response = ur.urlopen(request, timeout=20, context=context)
    content = response.read()