爬虫
文章平均质量分 75
Yirschen
这个作者很懒,什么都没留下…
展开
-
第三部分
数据提取方法 json 数据交换格式(从后端传到前端),看起来像python类型(列表,字典)的字符串 使用json之前需要导入 哪里会返回json的数据 浏览器切换到手机版 抓包app json.loads 把json字符串转化为python类型 json.loads(json字符串) json.dumps 把python类型转化为json字符串 json.dumps({}) json.dumps(ret1,ensure_ascii=False,indent=2原创 2020-08-07 21:37:00 · 186 阅读 · 0 评论 -
【爬虫】基础:第二部分
requests模块的学习 使用事前 pip install requests 发送get,post请求,获取响应 response = requests.get(url) #发送get请求,请求url地址对应的响应 response = requests.post(url,data={请求体的字典}) #发送post请求 response的方法 response.txt 该方法往往会出现乱码,出现乱码使用response.encoding=“utf-8” response.conte原创 2020-08-07 21:35:19 · 223 阅读 · 0 评论 -
【爬虫】基础:第一部分
4.浏览器的请求 url 在Chrome中点击检查,点到network url = 请求的协议+网站的域名+资源的路径+参数 浏览器请求url地址 当前url对应的响应+js+css+图片 —》elements中的内容 爬虫请求url地址 当前url对应的响应 elements的内容和爬虫获取到的url地址的响应不同,爬虫中需要以当前url地址对应的响应为准提取数据 当前url地址对应的响应在哪里 从network中找到当前的url地址,点击response 在页面上右键显原创 2020-08-07 21:33:52 · 108 阅读 · 0 评论