爬虫案例
文章平均质量分 56
以优质爬虫案例为主,解决疑难爬虫问题。
小胖_@
个人博客: https://zhangyh.fun/
展开
-
北京市城镇街道边界数据
北京市城镇街道边界数据目标网站:https://beijing.tianditu.gov.cn/bjtdt-main/electronicindex.html最终数据:{"code": "110101", "area_name": "东城区", "gbcode": "110101001", "down_name": "东华门街道", "address": "北京市东城区东安门大街55号", "geomPoint": "[39.9145862116844,116.40103833605]",原创 2022-02-18 16:54:26 · 1299 阅读 · 0 评论 -
人民网数据查询
文章目录第一种,Web搜索第二种,APP 数据查询1. 获取请求信息2. 测试3. 获取详情第一种,Web搜索检查网页数据,获取搜索页面的请求网址。http://search.people.cn/search-platform/front/search,POST请求。添加自定义请求头,可以轻松获取请求数据。出现问题:因为网站的反爬检测比较严格,容易IP 封锁。解决方式:添加随机延时请求;使用代理IP;改变网址,使用其他渠道获取。如:小程序,APP等。第二种,APP 数据查询1原创 2022-02-08 16:47:00 · 1250 阅读 · 0 评论