python爬虫学习
Xiaochunchunu
这个作者很懒,什么都没留下…
展开
-
python爬虫学习day7---使用ajax方法进行数据获取(基于requests模块发起ajax的get/post请求)---超级适合小白学习
一、前情准备 需要使用到urllin库中的request,urlopen库 需求:基于requests模块发起ajax的get/post请求 二、分析网站 链接:网站链接 初始页面最多只显示20条数据,需要点击下方的加载更多进行数据的更多获取,表明页面通过ajax请求动态加载页面,此时进行点击并按F12进行接口数据分析 点击上述框选内容,进行接口分析 此时的request url 就是ajax请求调用的接口,进行爬虫数据获取只需要指定该url即可 下面,上代码!!! https://www.jb51原创 2020-12-23 10:26:17 · 321 阅读 · 0 评论 -
python爬虫学习day 6-爬虫实战(百度贴吧数据案例爬取urllib库中request库)---超级适合小白学习
一、分析网站 链接:尚学堂贴吧地址 前面部分为域名:固定不变, 后面跟着的字符串含有变量 接着对整个页面进行分析: 图片1 图片2 图片3 综合以上结果即可得出结论,只需要每次url的pn值改变—加50即可获取相应网页信息,接下来,上代码!!! 二、码代码 整个过程分为三步: 根据url获取页面信息 def get_html(): pass#无任何作用,只是为了保持格式(python代码对格式有严格要求) 保存页面信息 def save_html(): pass原创 2020-09-11 00:21:27 · 147 阅读 · 0 评论