利用python读取csv文件中url并下载

这是天池竞赛中数据集下载的csv文件,在这里当然也可以用wget在linux中进行下载,但这样感觉不太cool。
在这里插入图片描述
写了个python程序,文件夹栏
在这里插入图片描述

import pandas as pd
import os
from urllib.request import urlretrieve
class download(object):

    def __init__(self):
        super(download, self).__init__()

    
    def start(self):
        root=os.getcwd()
        data=pd.read_csv(root+"/steet_character_detector/data/mchar_data_list_0515.csv")
        
        

  
        for i in range(data.shape[0]):
            url=data.iloc[i,2]
            print(url)
            local=url.split("/")[-1]
            local=root+"/steet_character_detector/data/"+local

            try:
               
                urlretrieve(url, local,self.callbackfunc)  #
            except Exception as e:
                print ("Exception")


    def callbackfunc(self,blocknum, blocksize, totalsize):
        '''回调函数
        @blocknum: 已经下载的数据块
        @blocksize: 数据块的大小
        @totalsize: 远程文件的大小
        '''

        print  ("blocknum  ",blocknum,"blocksize ",blocksize,"totalsize ",totalsize)
        percent = 100.0 * blocknum * blocksize / totalsize
        if percent > 100:
            percent = 100
        print ("%.2f%%" % percent,"    ",blocknum *blocksize,"    ",totalsize)
root=os.getcwd()
data=pd.read_csv(root+"/steet_character_detector/data/mchar_data_list_0515.csv")
print(data.head())
if __name__ == '__main__':
   
    d = download()
    d.start()
  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值