Python——爬取人口迁徙数据（以腾讯迁徙为例）

最新推荐文章于 2024-08-08 21:42:07 发布

weixin_34198797

最新推荐文章于 2024-08-08 21:42:07 发布

阅读量5.1k

点赞数 2

文章标签： python 大数据爬虫

原文链接：http://www.cnblogs.com/shadrach/p/7687602.html

版权

本文介绍如何使用Python爬取腾讯发布的城市人口迁徙数据，包括迁入和迁出量。需要注意的是，迁徙量数据可能经过处理，真实性无法确认。代码在撰写时未遇到IP屏蔽和浏览器检测问题，确保了近期数据的获取。文章展示了具体爬取四十个城市的示例。

摘要由CSDN通过智能技术生成

说明：

1.迁徙量是腾讯修改后的数值，无法确认真实性。

2.代码运行期间，腾讯迁徙未设置IP屏蔽和浏览器检测，因此下段代码仅能保证发布近期有效。

3.代码功能：爬取指定一天的四十（此四十是根据自己的城市列表而定，可多可少，并无限制）个城市左右的迁徙量（含迁入、迁出）。

 1 import re
 2 import urllib.request
 3 import xlwt
 4 import xlrd
 5 
 6 date = "20171016"
 7 cityList = xlrd.open_workbook("E:/city.xls").sheet_by_index(0).col_values(0) # ['city', '南昌', '景德镇', '萍乡', ...
 8 cityCodeList = xlrd.open_workbook("E:/city.xls").sheet_by_index(0).col_values(1) # ['cityCode', '360100', '360200',...
 9 direction = ["0","1"