- 博客(2)
- 收藏
- 关注
RSS订阅原创 爬虫项目(三)[爱下书小说网-小说爬取]
声明:本文只做学习使用，禁止用作非法途径，一切因为爬虫技术使用不当造成的不良后果皆与本人无关需要用到的库和模块requests库lxml库下的etree模块requests库下的RequestException类要获取的信息网站 http://www.aixiawx.com首先我们要确定要得到什么数据小说的名字、作者名、小说分类第几章每章节的内容主要步骤(一)构建请求头headers = { 'User-Agent': '****************',
2020-11-01 19:57:17
2985
1
原创 爬虫项目练习(二) [知乎热榜]
1.用到的模块和库request库lxml库中的etree模块json模块request库中的RequestException类2.要获取的信息分析页面可知我们要获取的信息有:头像链接昵称性别年龄内容点赞数评论数3.主要步骤(一)构建请求头打开开发者工具,找到要爬取的数据链接获取浏览器请求头标识符，避免请求不通过由上，可以写出代码import requestsfrom lxml import etreefrom requests import
2020-10-29 13:38:10
272
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人