Python2.7 自动抓取某贴吧所有帖子的图片

版本：python 2.7

功能：抓取某贴吧里所有帖子的图片。“只看楼主”

原理：简单的遍历

注意：1，将图片下载到指定文件夹下（需手动创建）。

    2，需拷贝目标贴吧的url地址，去掉其尾部变量pn的值。例如：美女吧url：http://tieba.baidu.com/f?kw=%E7%BE%8E%E5%A5%B3&ie=utf-8&pn=50。

去掉最后面的50，将其粘贴到代码中指定位置即可。

代码如下：

#! /usr/bin/env python
#coding=utf-8

import re,time
import urllib2,urllib
import sys

type = sys.getfilesystemencoding()

root = "D:\\meinv\\" # 改成你想要的文件夹 
def tiebaImgiDownloader(url):

	pattern = r'img class="BDE_Image" .*?src="(.*?jpg)"'
	fstr = urllib2.urlopen(url+'?see_lz=1').read()
	urllist =  re.findall(pattern,fstr)
	urllist = list( set(urllist) )

	print '总共爬取%d个图片链接'.decode('UTF-8').encode(type) %len(urllist)

	i = 1
	for furl in urllist:
		timestr = time.strftime('%Y%m%d%H%M%S')
		'''urllib.urlretrieve(furl,timestr+'0%d.jpg'%i)    'C:\img\%s.jpg'%i
		picName = timestr+'0%d.jpg'%i'''
		urllib.urlretrieve(furl,root + timestr + '0%d.jpg'%i)
		print '已保存图片'.decode('UTF-8').encode(type) ,timestr+'0%d.jpg'.decode('UTF-8').encode(type) %i
		i+=1
		#time.sleep(0.1)
	print  '图片下载完毕！'.decode('UTF-8').encode(type)

	return True


def __main__():
	print '欢迎使用贴吧jpg格式图片下载器！'.decode('UTF-8').encode(type)
	
	for totalIndex in range(0,1000):# 暂时写的1000
		print '现在开始第%d版'.decode('UTF-8').encode(type) % totalIndex
		html = urllib.urlopen('http://tieba.baidu.com/f?kw=%E7%BE%8E%E5%A5%B3&ie=utf-8&pn='+str(totalIndex*50)).read() # 目标贴吧url地址粘贴在这里
		pattern = r'a href="(.p.[0-9]*)"' 
		urllist = re.findall(pattern, html) 
		urllist = list(set(urllist)) 
		preurl = r'http://tieba.baidu.com' 
		print '抓取第%d个二级网页'.decode('UTF-8').encode(type) %len( urllist )
		i = 1
		for urlOne in urllist:
			print '正在抓取第%d个二级网页，总共%d个二级页面，当前第%d版'.decode('UTF-8').encode(type) % ( i , len( urllist ),totalIndex )
			tiebaImgiDownloader(preurl + urlOne)  
			time.sleep(0.5)
			i+=1
	return 0
		
	


if __name__ == '__main__':
	__main__()