python 多线程将大文件分开下载后在合并

这个代码是我转载来的,我自己使用了能正常运行。不过时间有点久了,转载谁的,我忘了,原创作者看到了,别介意呀。


废话不多说了,上代码吧:

import threading
import requests
import time
import os


class Mythread(threading.Thread):
    def __init__(self,url,startpos,endpos,f):
        super(Mythread,self).__init__()
        self.url=url
        self.startpos=startpos
        self.endpos=endpos
        self.fd=f
    def download(self):
        print('start thread:%s at %s'%(self.getName(),time.time()))
        headers={'Range':'bytes=%s-%s'%(self.startpos,self.endpos)}
        res=requests.get(self.url,headers=headers)
        self.fd.seek(self.startpos)
        self.fd.write(res.content)
        print('Stop thread:%s at%s'%(self.getName(),time.time()))
        self.fd.close()
    def run(self):
        self.download()
if __name__=="__main__":
    url='http://www.wendangxiazai.com/word/b-cfbdc77931b765ce050814a9-1.doc'
    filename=url.split('/')[-1]
    filesize=int(requests.head(url).headers['Content-Length'])
    print('%s filesize:%s'%(filename,filesize))


    threadnum=3
    threading.BoundedSemaphore(threadnum)#允许线程个数
    step=filesize//threadnum
    mtd_list=[]
    start=0
    end=-1
    
    tempf = open('E:\Python\py\web'+filename,'w')
    tempf.close()
    mtd_list=[]
    with open('E:\Python\py\web'+filename,'rb+')as f:
        #获得文件句柄
        fileno=f.fileno()#返回一个整型的文件描述符,可用于底层操作系统的 I/O 操作
        while end<filesize-1:
            start=end+1
            end=start+step-1
            if end>filesize:
                end=filesize
            print ('Start:%s,end:%s'%(start,end))
            dup=os.dup(fileno)#复制文件句柄
            fd=os.fdopen(dup,'rb+',-1)
            t=Mythread(url,start,end,fd)
            t.start()
            mtd_list.append(t)
        for i in mtd_list:
            i.join()
    f.close()

  • 1
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值