python爬虫(爬取三国演义小说章节标题和章节内容)+bs4数据解析

1、网页URL: http://www.shicimingju.com/book/sanguoyanyi.html在这里插入图片描述
1.1 注意安装环境
pip install bs4
pip install lxml(解析器)
1.2 数据解析原理:
1.2.1 标签定位
1.2.2 提取标签、标签属性中存储的数据值
1.3 bs4数据解析的原理:(bs4只能用于python)
1.3.1实例化一个BeautifulSoup对象,并且将页面源码数据加载到该对象中
1.3.2通过调用BeautifulSoup对象中相关的属性或者方法进行标签定位和数据提取。
2、在首页中解析出章节的标题和详情页的url
用F12抓包工具
在这里插入图片描述
快捷键[Ctrl+Shift+C],选择章节标题部分,会自动在Elements的源码中显示在何处,如图:
在这里插入图片描述
是在div标签下的class =book-mulu 的 ul 子标签的各个 li 子标签的 a 标签中
a标签中有章节标题和章节内容的超链接
解析出章节标题和超链接
结果如下:

评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值