python爬虫爬取网页时翻页只能翻出一页_写爬虫如何获取网页页数并使程序跑完第一页继续前往下一页？...

该楼层疑似违规已被系统折叠 隐藏此楼查看此楼

# -*- coding: utf-8 -*-

import urllib

import re

import time

import os

#显示下载进度

def schedule(a,b,c):

'''''

a:已经下载的数据块

b:数据块的大小

c:远程文件的大小

'''

per = 100.0 * a * b / c

if per > 100 :

per = 100

print '%.2f%%' % per

def getHtml(url):

page = urllib.urlopen(url)

html = page.read()

return html

def downloadImg(html):

reg = r'

imgre = re.compile(reg)

imglist = re.findall(imgre, html)

#定义文件夹的名字

t = time.localtime(time.time())

foldername = str(t.__getattribute__("tm_year"))+"-"+str(t.__getattribute__("tm_mon"))+"-"+str(t.__getattribute__("tm_mday"))