[python]网页小爬虫

# Filename is getpictures.py
# coding: utf-8

# ---------------------------------------------------------#

#           网页小爬虫
#   功能：批量下载百度贴吧的单个贴子的图片
#   作者：ice
#   E-mail：1c30day@gmail.com
#   更新时间：2013年8月16日

#----------------------------------------------------------#

import re
import urllib
import os

#----------------------------------------------------------#

# 函数名：DownCall
# 功能  ：下载进度显示

#----------------------------------------------------------#

def DownCall(count,size,total_filesize):
    """count为已下载数据块个数，size为数据块的大小，total_filesize为文件总大小"""
    per=100.0*count*size/total_filesize
    if per>100:
        per=100
    print "Already download %d KB(%.2f"  %(count*size/1024,per)+"%)"
#----------------------------------------------------------#

# 函数名：GetHTML
# 功能  ：获取HTML的源码

#----------------------------------------------------------#

def GetHTML(url): 
    html = urllib.urlopen(url)
    HTMLSource= html.read()
    html.close()
    return HTMLSource

#----------------------------------------------------------#

# 函数名：GetImages
# 功能  ：批量下载网页图片

#----------------------------------------------------------#

def GetImages(url): 
    FindImages=re.compile(r'src="(.*\.jpg)" pic_ext')  
    # 关键正则表达式
    ImageList = FindImages.findall(GetHTML(url))
    # 匹配出所有符合规则的图片地址 
    path = r'D:\jpg'
    # 遍历下载图片
    for x in range(len(ImageList)):
        ImageName = str(x + 1) + '.jpg'
        FileName = os.path.join(path,ImageName)
        print FileName + '---------->is dwonloading:'
        urllib.urlretrieve(ImageList[x],FileName,DownCall)      
    print '\nThe End!'

if __name__ == '__main__':  
    url='http://tieba.baidu.com/p/2523495509'
    GetImages(url)
print 'Game over'

如何实现：

1.读取网页HTML源码

2.用正则表达式匹配出自己需要的东西

3.下载并保存成自己需要的文件类型