url采集器_采集器百度人口迁徙数据

很多人写过如何通过代码获取百度人口迁徙数据,但是很多同学不愿意学代码,那完全可以通过采集器来尝试。这样利用采集器操作其实还可能会简单一些。

我直接参考了别人写过的代码,直接得到了人口迁徙数据url的规律。

https://huiyan.baidu.com/migration/cityrank.jsonp?dt=province&id=110000&type=move_in&date=20200314

加粗的部分是我们可以替换的部分,dt可以是省或者城市。id就是这个身份或者城市的id。type方式可以是迁入或者迁出,date就是时间。

dde2649c60296a50981c3ac4066815a8.png

所以第一步是你需要获取这些能得到城市的id号,其实就是行政区划代码。然后就是建立网址的拼接规则。这里只是一个示范,获取了城市或者省份id,就可以自定义一个列表了。这样就把每个城市或者省份循环一遍,也能把需要的时间循环一遍。

6c12f2c0f637f3807d683a16fa2dc244.png

我们直接查看某一条连接的数据,可以用字符串截取的方式获取数据。

ada92d18c176a0db88eb0b6482a893fa.png

如果你发现是乱码,完全可以在数据处理—高级功能—编码/解码,就行字符串解码。让我们测试某一页的数据。效果很不错。

3aa7ff4716607979254ab4968ff198b5.png

03583b0f277cf0bd92cb941f687de562.png

那么我们设置好时间,就可以直接获取数据了。获取数据之后,可以通过数据库的方式免费导出数据。《采集器数据导出方法》

ab397b37a9dece31a808efe3cb0c4ddb.png

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值