用python实现人口迁移的数据爬虫

代码实现

import requests
import pandas as pd
lst_date=['20190130','20190131','20190201']
df_city=pd.read_excel('/home/kesci/中国城市代码对照表(4).xlsx')
city_lst=df_city['城市编码'].iloc[:300].tolist()
u='http://lbs.gtimg.com/maplbs/qianxi/20190502/44030016.js?callback=JSONP_LOADER&_=1558010723465'
#通过网页生成某一天的不同数据
urllst=[]#创建一个空的列表
for i in lst_date:#i代表的是我们需要获取的日期，这里是指春节前三天的日期
    for j in city_lst:#j代表的是城市编号
        urllst.append('http://lbs.gtimg.com/maplbs/qianxi/%s/%s16.js?'% (i,str(j)))
r=requests.get(urllst[0])
#需要吧上面的信息处理成文本，就是需要吧（）前后的东西去掉
startn=r.text.index('(')+1#用index方法来确认（是在第几个位置
#获取尾括号的位置
endn=r.text.index(')')
datai=r.text[startn:endn]
datai=eval(datai)#eval会运行这个datai,如果datai是一个列表形式，那么就可以直接