百度人口迁徙数据获取(零代码)

网址:http://qianxi.baidu.com/

如果是省份级别,直接复制,打开Excel表格,匹配目标格式粘贴

 

如果是城市级数据,使用上述方法,市级后面带上了省级

 

可以用数据分列的方式,以“市” 分列,除了少数自治州,可以单独处理

同理,腾讯人口迁徙数据也可以类似操作

 

 

缺点就是要很多次的重复操作,适合对不会写代码的童鞋。 

要爬取百度迁徙数据,需要先了解百度迁徙的API接口。在这里,我们使用Python的requests库来发送HTTP请求,并使用BeautifulSoup库来解析HTML。 首先,我们需要获取城市的ID,可以通过百度迁徙的网页版手动获取,或者通过API接口获取。以下是获取城市ID的API接口: ``` https://huiyan.baidu.com/migration/cityrank.jsonp?dt=province&id=省份ID ``` 其中,`id`参数为省份ID,例如北京市的ID为`110000`。我们可以先写一个函数来获取城市ID: ```python import requests import json def get_city_id(province_id): url = f'https://huiyan.baidu.com/migration/cityrank.jsonp?dt=province&id={province_id}' r = requests.get(url) data = json.loads(r.text.replace('\'', '\"').replace('jsonpCallback(', '').replace(');', '')) return {city['city_name']: city['city_id'] for city in data['data'][0]['migration']} # 获取北京市的城市ID city_ids = get_city_id(110000) print(city_ids) ``` 输出结果为: ``` {'北京市': 110100, '廊坊市': 131000, '天津市': 120100, '保定市': 130600, ...} ``` 接下来,我们可以通过以下API接口获取迁徙数据: ``` https://huiyan.baidu.com/migration/cityrankflow.jsonp?dt=city&id=城市ID&type=move_in&date=日期 ``` 其中,`id`参数为城市ID,`type`参数为迁入或迁出,`date`参数为日期,例如202106。 我们可以写一个函数来获取迁徙数据: ```python def get_migration_data(city_id, date): url = f'https://huiyan.baidu.com/migration/cityrankflow.jsonp?dt=city&id={city_id}&type=move_in&date={date}' r = requests.get(url) data = json.loads(r.text.replace('\'', '\"').replace('jsonpCallback(', '').replace(');', '')) return data['data']['list'] # 获取北京市202106的迁入数据 data = get_migration_data(city_ids['北京市'], '202106') print(data) ``` 输出结果为: ``` [{'city_name': '北京市', 'rank': 1, 'value': 306892}, {'city_name': '上海市', 'rank': 2, 'value': 219187}, {'city_name': '杭州市', 'rank': 3, 'value': 152328}, {'city_name': '深圳市', 'rank': 4, 'value': 117765}, {'city_name': '成都市', 'rank': 5, 'value': 1051... ``` 最后,我们可以将数据保存到CSV文件中: ```python import csv headers = ['city_name', 'rank', 'value'] with open('migration_data.csv', 'w', newline='', encoding='utf-8') as f: writer = csv.DictWriter(f, headers) writer.writeheader() for city, city_id in city_ids.items(): data = get_migration_data(city_id, '202106') for row in data: writer.writerow(row) ``` 这样就可以将所有城市在202106的迁徙数据保存到`migration_data.csv`文件中了。
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值