python多线程+队列下载资源

        网上有一些公开课视频教程还有课件啥的,手动下太慢了,写个python下载。我想尽可能的做到通用性,以后可以直接用的,代码如下,抛砖引玉,欢迎建议和意见:

import urllib.request
import re
import queue
import threading
import os
class download(threading.Thread):
	def __init__(self,que):
		threading.Thread.__init__(self)
		self.que=que
	def run(self):
		while True:
			if not self.que.empty():
				print('-----%s------'%(self.name))
				os.system('wget '+self.que.get())
			else:
				break

def startDown(url,rule,num,start,end,decoding=None):
	if not decoding:
		decoding='utf8'
	req=urllib.request.urlopen(url)
	body=req.read().decode(decoding)
	rule=re.compile(rule)
	link=rule.findall(body)
	que=queue.Queue()
	for l in link:
		que.put(l[start:end])
	for i in range(num):
		d=download(que)
		d.start()

if __name__=='__main__':
	url='https://class.coursera.org/algo-004/lecture/
  • 1
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 3
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值