- 博客(3)
- 收藏
- 关注
RSS订阅原创 python爬取书趣阁小说
一、请求服务器1.分析网页我们在请求服务器之前要先看一下这个网页的构造，我们可以看到它的信息全部都是通过html加载出来的，每一个url 都可以对应一篇小说，所以我们只需要提取到该小说目录的所有链接就可以获取到没有个章节的内容了。2.获取html文件import requestsfrom lxml import etreeurl = "http://www.shuquge.com/tx...
2020-04-19 22:45:38
1050
2
原创 python爬取电影信息
一、分析网页1、url分析进入目标网站，随机点击几页，发现url并没有发生改变，所以判断它是Ajax加载的数据。2、抓包分别拿到第1、2、10页电影的链接，发现下面的不同之处：取第一页的链接，设置代理,发现之前的方法不行，被识别出了：所以这次用另一种方法来设置代理。import requests,csv,time, refrom lxml import etreeheaders...
2020-04-19 22:45:10
1301
2
原创 python爬取豆瓣top250
1.分析并获取url链接豆瓣top250榜单共有10页，每页有25部电影，找到url链接中的规律如下：即数字相差为25，用for循环生成链接如下：即得到了我们要爬取的所有链接（以上只截取部分）。2.请求服务器2.1 设置浏览器代理：网页空白处单击鼠标右键，点击检查，选择Network，All，刷新网页后双击第一个文件，选择headers，下拉到最底部复制如下内容：设置的浏览器代理为...
2020-04-12 19:34:49
613
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人