![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python爬虫
螺蛳粉超人
这个作者很懒,什么都没留下…
展开
-
爬虫爬数据时候的json库应用
json.dumps() 将python对象编码成Json字符串 json.loads() 将Json字符串解码成python对象 json.dump() 将python中的对象转化成json储存到文件中 json.load() 将文件中的json的格式转化成python对象提取出来原创 2021-01-15 21:25:09 · 122 阅读 · 0 评论 -
爬取Ajax网页
第一步,获取索引页 1、页面按F12调出原代码 2、按下Network --> XHR -->Preview,发现都在一个json数据集中 3、刷新,观察左边有什么变化,每一行的区别,比如: 4、引入requests库,获取内容 字典是从header获取的,urlencode能将字典转为url索引 5、构建一个完整的,可以传入参数的 第二步,装入json,解析数据 1、把json文件格式化,便于后面获取 2、获取想要的东西,比如每页的url 3、判断每个url都有东西 4、解析每原创 2020-11-19 00:22:49 · 422 阅读 · 0 评论 -
爬取百度POI(2)
爬取百度POI思路 1、一些前提 1.矩形区域检索 2.帮助文档为示例: http://api.map.baidu.com/place/v2/search?query=银行&bounds=39.915,116.404,39.975,116.414&output=json&ak={您的密钥} //GET请求 3.相关参数按帮助文档的来 比如页数,页面大小,关键字,坐标等 4....原创 2020-03-29 15:03:17 · 226 阅读 · 0 评论 -
爬取百度POI(1)
获取百度poi第一步:划分网格 1、获取百度api一些注意事项 1、坐标拾取:左下–右上(西南sw-东北ne) 2、坐标格式:(纬度,经度)–(lat,lng) 3、一次返回400条限制 4、尺度: 1度~111km 0.1度~11km 0.05度~5.5km 0.02度~2.2km --> 2.2*2.2~5km2 一 一般5km2内不会有某种poi超过400条 2、划分网格思路 #例如...原创 2020-03-29 00:05:23 · 588 阅读 · 0 评论 -
【转载】获取高德poi
【转载】获取高德poi 原帖:https://www.cnblogs.com/shadrach/p/7615815.html import xlwt #创建Excel,见代码行8,9,11,25,28;CMD下:运行pip install xlwt进行安装 import urllib.request # url请求,Python3自带,Python2与3中urllib的区别见:http://blo...转载 2018-12-04 10:01:09 · 438 阅读 · 0 评论