python3 爬虫 urlretrieve

网上的Python3 爬虫教程很少,自己就写了个小例子。

import re
import urllib.request
###result yes
# version 3.5
def Schedule(a,b,c):
       '''
       a:已经下载的数据块
       b:数据库块的大小
       c:远程文件的大小
       '''
       per = 100.0 * a * b / c
       if per>100:
           per = 100
           print('完成!')
       print('%.2f%%' % per)
def getHtml(url):
       page = urllib.request.urlopen(url)
       html = page.read()
       return html

def getImg(html):
       html = html.decode('utf-8')
       reg = r'src="(.*?\.jpg)" width'
       imgre = re.compile(reg)
       imglist = imgre.findall(html)
       #print(imglist)
       x = 0
       for imgurl in imglist:
              urllib.request.urlretrieve(imgurl,'e:\\test\\%s.jpg' % x,Schedule)#是不是Python3.X中把这个也改变了?
              x += 1

html = getHtml('http://tieba.baidu.com/p/741081023')
print(getImg(html))
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值