python爬取百度贴吧图片库_爬取百度贴吧图片

依然是参考崔庆才写的关于Python爬虫的文章，大家有兴趣的话可以去他的个人博客静觅学习。

上次将百度贴吧里帖子的文字写入txt文件，这次将其中的图片下载保存到本地。

以五月天吧中的这个帖子为例，作者是痴呆Juli，写一个程序将她发的图片下载下来。提取帖子标题和一共的页数，将第n页的所有图片都保存到名为“标题 n”的文件夹中。图片出现的位置如下图，相应的正则表达式为pattern = re.compile('

图片.png

程序的思路是：对于每一页，re.findall()找出所有的图片链接以列表的形式返回，根据标题和当前页码建立相应的文件夹，将每张图片都保存到该文件夹。

对应的函数有四个

def mkdir(self, path):

isExists = os.path.exists(path)

if not isExists:

os.makedirs(path)

return True

else:

return False

def getAllImgs(self, page):

pattern = re.compile('

images = re.findall(pattern, page)

return images

def saveImg(self, imageURL, fileName):

u = urllib.urlopen(imageURL)

data = u.read()

f = open(fileName, 'wb')

f.write(data)

f.close()

def saveImgs(self, images, name):

number = 1

for imageURL in images:

splitPath = imageURL.split('.')

fTail = splitPath.pop()

if len(fTail) > 3:

fTail = "jpg"

fileName = name + "/" + str(number) + "." + fTail

self.saveImg(imageURL, fileName)

number += 1

mkdir建立文件夹，os模块包含了很多操作系统的接口，os.path.exists(path)查看path路径是否存在，若不存在，os.makedirs(path)建立该路径(即在当前目录建立名为path的文件夹)。

getAllImgs() 提取当前页面所有图片的链接，以列表形式返回。

saveImg()打开图片链接，写入名为fileName的文件。因为图片是二进制格式，所以用‘wb’，表示以二进制格式打开一个文件只用于写入，如果该文件已存在则将其覆盖，如果该文件不存在，创建新文件。注意，open之后记得close。

saveImgs保存所有图片。由于imageURL的形式为“URL.jpg”，imageURL.split('.')用.将imageURL分为前后两部分，fTail = splitPath.pop()删除列表最后一个元素并返回该值，即图片的格式，fileName = name + "/" + str(number) + "." + fTail表示在名为name的文件夹下保存number.fTail的文件。