我的第一个爬虫日志

刚刚开始学习爬虫，很多东西不懂，还望前辈们多多指教。

我的第一篇爬虫是爬取图片，因为这个内容比较容易入手，所以先从这里开始，此处适用于仅有一页图片的百度贴吧网页或者说只能爬取第一页的图片。

总结流程：

1、导入相应的包

1）传送网址（多页在此不传送页码，新编函数循环传入新的页码）

2、构建函数

1）网址发送请求

2）服务器的响应

3）读取网址编码信息

3、编写正则表达式提取所需内容，括号内容具有唯一性

4、获取内容列表之后循环下载取出

import urllib
import urllib2
import re
#导入需要的包
url = 'http://tieba.baidu.com/p/4558355499'
def getpic(url):
    req = urllib2.Request(url)
    response = urllib2.urlopen(req)
    html = response.read().decode('utf-8')
    #注意正则需要括号表示分组，我们所需要的内容前后用括号隔开
    re_jpg = r'src="(http://imgsrc.baidu.com.+?\.jpg)" size='
    jpg_url = re.findall(re_jpg,html)
    x = 0#从0开始命名
    for jpg in jpg_url:
        urllib.urlretrieve(jpg,'J:/pydownload/{}.jpg'.format(x))
        x +=1
        print jpg
        
getpic(url)

以下适用于多页图片的百度贴吧网页

import urllib
import urllib2
import re
import time

start_url = 'http://tieba.baidu.com/p/2037526228?pn='
def getpic(url):
    req = urllib2.Request(url)
    response = urllib2.urlopen(req)
    html = response.read().decode('utf-8')
    
    re_jpg = r'src="(http://imgsrc.baidu.com.+?\.jpg)" width='
    jpg_url = re.findall(re_jpg,html)
    for jpg in jpg_url:
        #urllib.urlretrieve(jpg,'J:/pydownload/{}.jpg'.format(x))
        urllib.urlretrieve(jpg,"J:/pydownload/%s.jpg"% jpg.split('/')[-1])
        print jpg
def get_all(pages):
    for i in range(1,pages):
        url = start_url + str(i)
        getpic(url)
        time.sleep(2)
        
get_all(2)