python爬虫
螺蛳粉超人
这个作者很懒,什么都没留下…
展开
-
爬虫爬数据时候的json库应用
json.dumps() 将python对象编码成Json字符串json.loads() 将Json字符串解码成python对象json.dump() 将python中的对象转化成json储存到文件中json.load() 将文件中的json的格式转化成python对象提取出来原创 2021-01-15 21:25:09 · 132 阅读 · 0 评论 -
爬取Ajax网页
第一步,获取索引页1、页面按F12调出原代码2、按下Network --> XHR -->Preview,发现都在一个json数据集中3、刷新,观察左边有什么变化,每一行的区别,比如:4、引入requests库,获取内容字典是从header获取的,urlencode能将字典转为url索引5、构建一个完整的,可以传入参数的第二步,装入json,解析数据1、把json文件格式化,便于后面获取2、获取想要的东西,比如每页的url3、判断每个url都有东西4、解析每原创 2020-11-19 00:22:49 · 431 阅读 · 0 评论 -
爬取百度POI(2)
爬取百度POI思路1、一些前提1.矩形区域检索2.帮助文档为示例:http://api.map.baidu.com/place/v2/search?query=银行&bounds=39.915,116.404,39.975,116.414&output=json&ak={您的密钥} //GET请求3.相关参数按帮助文档的来比如页数,页面大小,关键字,坐标等4....原创 2020-03-29 15:03:17 · 236 阅读 · 0 评论 -
爬取百度POI(1)
获取百度poi第一步:划分网格1、获取百度api一些注意事项1、坐标拾取:左下–右上(西南sw-东北ne)2、坐标格式:(纬度,经度)–(lat,lng)3、一次返回400条限制4、尺度:1度~111km0.1度~11km0.05度~5.5km0.02度~2.2km --> 2.2*2.2~5km2 一 一般5km2内不会有某种poi超过400条2、划分网格思路#例如...原创 2020-03-29 00:05:23 · 597 阅读 · 0 评论 -
【转载】获取高德poi
【转载】获取高德poi原帖:https://www.cnblogs.com/shadrach/p/7615815.htmlimport xlwt #创建Excel,见代码行8,9,11,25,28;CMD下:运行pip install xlwt进行安装import urllib.request # url请求,Python3自带,Python2与3中urllib的区别见:http://blo...转载 2018-12-04 10:01:09 · 454 阅读 · 0 评论