Python小爬虫——贴吧图片的爬取

转自：https://www.cnblogs.com/Axi8/p/5757270.html

 

一、页面获取

要让python可以进行对网页的访问，那肯定要用到urllib之类的包。So先来个 import urllib 

urllib中有 urllib.urlopen(str) 方法用于打开网页并返回一个对象，调用这个对象的read()方法后能直接获得网页的源代码，内容与浏览器右键查看源码的内容一样。

#coding:utf-8
import urllib

page = urllib.urlopen('http://tieba.baidu.com/p/1753935195')#打开网页
htmlcode = page.read()#读取页面源码
print htmlcode#在控制台输出

运行结果与查看源码其实差不多

运行结果就不放上来了

也可以写到文本文档中：

#coding:utf-8
import urllib

page = urllib.urlopen('http://tieba.baidu.com/p/1753935195')
htmlcode = page.read()
#print htmlcode

pageFile = open('pageCode.txt','w')#以写的方式打开pageCode.txt
pageFile.write(htmlcode)#写入
pageFile.close()#开了记得关

运行一遍，txt就出现在了getJpg.py的目录下

我们把它封装成方法：

 def get_html(url):
     page = urllib.urlopen(url)
     html = page.read()
     return html

二、图片(目标)的提取

做完上面步骤，你打开txt一看，我去！这都是什么跟什么啊，根本找不到图片在哪好伐？

首先我们要一个正则表达式 (请看菜鸟入门教程-->Go)

然后我们看源代码，Yeah 我们找到了其中一张图片是这样的

写出图片的正则表达式： reg = r'src="(.+?\.jpg)" width' 

解释下——匹配以src="开头然后接一个或多个任意字符(非贪婪)，以.jpg" width结尾的字符串。比如图中红框内src后 双引号里的链接就是一个匹配的字符串。

接着我们要做的就是从get_html方法返回的辣么长一串字符串中 拿到 满足正则表达式的 字符串。

用到python中的re库中的 re.findall(str) 它返回一个满足匹配的字符串组成的列表

# coding:utf-8
import urllib
import re

def get_html(url):
    page = urllib.urlopen(url)
    html = page.read()
    return html

reg = r'src="(.+?\.jpg)" width'#正则表达式
reg_img = re.compile(reg)#编译一下，运行更快
imglist = reg_img.findall(get_html('http://tieba.baidu.com/p/1753935195'))#进行匹配
for img in imglist:
    print img

打印出这么多图片链接

光把链接拿出来没用啊，我们的目标是下载下来~

urllib库中有一个 urllib.urlretrieve(链接,名字) 方法，它的作用是以第二个参数为名字下载链接中的内容，我们来试用一下

在上面代码循环中加上 urllib.urlretrieve(img, 'tieba.jpg') 

只下了一张，因为我们只给了一个tieba.jpg的名字，后来的把前面的覆盖了。

调整下代码：

# coding:utf-8
import urllib
import re

def get_html(url):
    page = urllib.urlopen(url)
    html = page.read()
    return html

reg = r'src="(.+?\.jpg)" width'
reg_img = re.compile(reg)
imglist = reg_img.findall(get_html('http://tieba.baidu.com/p/1753935195'))
x = 0
for img in imglist:
    urllib.urlretrieve(img, '%s.jpg' %x)
    x += 1

 

三、指定链接抓取

我想要抓另一个帖子，总不能打开源代码，然后把那段地址改了在运行吧。

只是一个小程序，那也不行欸，加一个让用户指定地址的交互。

先把提取图片的那段代码打包下：

def get_image(html_code):
    reg = r'src="(.+?\.jpg)" width'
    reg_img = re.compile(reg)
    img_list = reg_img.findall(html_code)
    x = 0
    for img in img_list:
        urllib.urlretrieve(img, '%s.jpg' % x)
        x += 1

最后来个请输入：

print u'请输入url:',
url = raw_input()
if url:
    pass
else:
    url = 'http://tieba.baidu.com/p/1753935195'
html_code = get_html(url)
get_image(html_code)

运行一下,试试另一个帖子：

 

最后的代码：

# coding:utf-8
import urllib
import re

def get_html(url):
    page = urllib.urlopen(url)
    html_code = page.read()
    return html_code

def get_image(html_code):
    reg = r'src="(.+?\.jpg)" width'
    reg_img = re.compile(reg)
    img_list = reg_img.findall(html_code)
    x = 0
    for img in img_list:
        urllib.urlretrieve(img, '%s.jpg' % x)
        x += 1

print u'-------网页图片抓取-------'
print u'请输入url:',
url = raw_input()
if url:
    pass
else:
    print u'---没有地址输入正在使用默认地址---'
    url = 'http://tieba.baidu.com/p/1753935195'
print u'----------正在获取网页---------'
html_code = get_html(url)
print u'----------正在下载图片---------'
get_image(html_code)
print u'-----------下载成功-----------'
raw_input('Press Enter to exit')