python爬虫学习
Xiaochunchunu
这个作者很懒,什么都没留下…
展开
-
python爬虫学习day7---使用ajax方法进行数据获取(基于requests模块发起ajax的get/post请求)---超级适合小白学习
一、前情准备需要使用到urllin库中的request,urlopen库需求:基于requests模块发起ajax的get/post请求二、分析网站链接:网站链接初始页面最多只显示20条数据,需要点击下方的加载更多进行数据的更多获取,表明页面通过ajax请求动态加载页面,此时进行点击并按F12进行接口数据分析点击上述框选内容,进行接口分析此时的request url 就是ajax请求调用的接口,进行爬虫数据获取只需要指定该url即可下面,上代码!!!https://www.jb51原创 2020-12-23 10:26:17 · 330 阅读 · 0 评论 -
python爬虫学习day 6-爬虫实战(百度贴吧数据案例爬取urllib库中request库)---超级适合小白学习
一、分析网站链接:尚学堂贴吧地址前面部分为域名:固定不变,后面跟着的字符串含有变量接着对整个页面进行分析:图片1图片2图片3 综合以上结果即可得出结论,只需要每次url的pn值改变—加50即可获取相应网页信息,接下来,上代码!!!二、码代码整个过程分为三步:根据url获取页面信息def get_html(): pass#无任何作用,只是为了保持格式(python代码对格式有严格要求)保存页面信息def save_html(): pass原创 2020-09-11 00:21:27 · 163 阅读 · 0 评论