简易python web抓取小程序

#抓取web页面
from urllib import urlretrieve

def fi (lines) :
    for e in lines :
        if not e.strip() :
            continue
        else :
            return e[0:20]  #此处可自行修改需要获取网页信息的大小

def fl(webpage) :
    f = open (webpage)
    lines = f.readlines()
    f.close()
    print fi(lines),'\n'
    lines.reverse()
    print fi(lines)

def dl (url = 'http://www.baidu.com/', process = fl) :
    try :
        r = urlretrieve(url)[0]
    except IOError :
        r = None
    if r :
        process(r)
if __name__ == '__main__':

    dl()

以此为为示例，可以通过python获取网页信息，当然，再加入个人自己的搜索信息的方法的话，就可以完美的利用python下载网页上的图片和视频信息了