我的第一只Python爬虫-CSDN博客

背景

首先什么是爬虫

网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。

为了拓展视野、接触一些从未接触过的东西(废话)，就有了这篇blog
~~难道你要我说我是闲得蛋疼来搞搞正~~

咳咳，正题正题

基础知识

python(废话)
urllib和urllib2 库的用法
正则表达式挂逼一样的利器

大概就是这样了

顺便说一下我用的是python 2.7，系统自带也就懒得装别的了

实现功能？

在贴吧上抓一些图♂片并且保存到本地

话说熟能生巧是tm真的，写一个晚上已经很熟练了

import urllib2
import urllib
import re

def getHtml(url):
    headers={'User-Agent':'Mozilla/5.0 (compatible; MSIE 5.5; Windows NT)'}#浏览器认证，大多数网站都需要
    request=urllib2.Request(url,headers=headers)#构造一个带认证的网页请求
    html=urllib2.urlopen(request)
    return html.read()#返回扒下来的整个网页内容，也就是“查看源代码”的内容

def rollFunc(blocknum, blocksize, totalsize):
    percent=100.0*blocknum*blocksize/totalsize#计算下载的百分比
    if percent>100:#精度处理
        percent=100
    print "%.2f%%"%percent

def downPic(html,count,path):
    reg=re.compile(r'src="(.+?\.jpg)" pic_ext="(.+?)"')#字符串的匹配，找到带有src="*.jpg"的项，也就是网页上的图片
    piclist=re.findall(reg,html)#找到所有符合我们匹配条件的项，返回值是个list(啊啊啊太好用了会上瘾的)

    for pic in piclist:

        fmt=pic[-1][-3]+pic[-1][-2]+pic[-1][-1]
        if fmt=='peg':
            fmt='j'+fmt
        count+=1

        print 'downloading '+pic[0]
        urllib.urlretrieve(pic[0],path+'%s.'%count+fmt,rollFunc)#调用retrieve保存图片，其实别的格式也是可以的，这里只是抓jpg
        #使用格式urllib.urlretrieve(url,path路径,回调函数)
        print 'DONE!'

count=0
url='http://tieba.baidu.com/p/2460150866'
path=raw_input('PATH:')

html=getHtml(url)
downPic(html,count,path)