- 博客(3)
- 收藏
- 关注
RSS订阅原创 爬取拉钩职位信息（反扒机制cookies时效性的处理，time模块的简单应用）
1.分析网页 1.1判断是否为静态网页 方法同上文很容易判断出这是一个动态网页（其实除了一些很基本的小说，图片网站，其他大都是动态网页） 1.2对比找到需要的数据包 在XHR中抓取动态的数据包，在preview中我们可以对比找到我们想要的数据。如图所示，在第一个数据包中发现了我们想要的数据。 2.模拟发送请求 import requests import pprint url = 'https://www.lagou.com/jobs/positionAjax.json' headers = {
2021-01-14 23:32:33
692
2
原创 爬取动态网页酷六视频（响应体的应用）
1.判断网页是否为动态 2.寻找动态数据的来源 3.对比数据 4.解析数据 5.保存数据 6.完整代码展示 1.判断是否为动态网页 单击鼠标右键查看网页源代码，然后在原网页任意复制一个标题，在相应的网页源代码查看是否能够找到匹配项，若无匹配项则说明该网页是动态实时更新的，否则为静态网页 2.寻找数据来源 若为动态网页则在开发者工具里面寻找到XHR，该项动态网页的数据来源。在该项里面找到数据来源的url后，模拟计算机向该网页发送请求。 响应为200，说明请求数据成功。 3.对比数据 因为我们需要爬取多
2021-01-09 17:42:47
257
原创 在美桌下载某一个系列的图片
1.确定目标网页 2.发送请求 3.解析数据 4.保存数据 5.下载多张图片 1.确定目标网页，确定爬取的url路径，headers参数 url = 'http://www.win4000.com/wallpaper_detail_178645.html' headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.42...
2021-01-09 15:38:23
252
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人