根据dataFrame利用urllib3下载所需数据
原因
第一次尝试天池的练习赛,发现数据没有可以直接下载的地方,而是以表格形式存储于mchar_data_list_0515.csv文件中,于是尝试利用pandas和urllib3提取url并下载。
代码
import urllib3
import pandas as pd
print("Data Download")
df = pd.read_csv('Data/mchar_data_list_0515.csv')
print(df)
http = urllib3.PoolManager() #创建HTTP连接池
for idx in df.index:
print(df[['link']].loc[idx].values[0])
response = http.request('GET', url=df[['link']].loc[idx].values[0])
with open('Data/'+df[['file']].loc[idx].values[0],'wb') as f: #写入文件
f.write(response.data)
response.release_conn()
如果之后发现更好的方法,会再进行更新;如果有朋友发现更好的方法希望分享交流!