用python抓取小说，以龙王传说为例

最新推荐文章于 2024-06-27 22:08:00 发布

置顶

能蹦的霸王龙

最新推荐文章于 2024-06-27 22:08:00 发布

阅读量493

点赞数

分类专栏：爬虫文章标签： python html

本文链接：https://blog.csdn.net/weixin_45846561/article/details/107921113

版权

本文介绍了如何使用Python进行网络爬虫，以89文学网上的《龙王传说》为例，展示了在IDLE环境下抓取网页内容的过程，并附上了成功的截图。

摘要由CSDN通过智能技术生成

1. 目标网站：89文学网（https://www.89wxw.com）
2. python环境：IDLE

获取headers

分析内容
搜索龙王传说，进入网页

#基本思路：采用requests库和BeautifulSoup库爬取龙王传说小说



import requests
from bs4 import BeautifulSoup

def get_novel_chapters():#获得标签名称及链接
    data_1 = []  
    root_url = 'https://www.89wxw.com/read/3440/'
    headers = {
   'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'
               }#用headers对pyt

最低0.47元/天解锁文章

能蹦的霸王龙

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
用python抓取小说，以龙王传说为例

1. 目标网站：89文学网（https://www.89wxw.com）2. python环境：IDLE#基本思路：采用requests库和BeautifulSoup库爬取龙王传说小说import requestsfrom bs4 import BeautifulSoupdef get_novel_chapters():#获得标签名称及链接 data_1 = [] root_url = 'https://www.89wxw.com/read/3440/'
复制链接

扫一扫