1、概述
这一节,我们将在百度图片中爬取需要训练的图片数据:猪、蛇、狗、大象、老虎。
2、打开待爬取网页
打开百度图片首页:
在搜索框中输入“猪”,点击搜索,得到结果如下图所示,
直接将右边的滚动条拉到底部,就可以在底部看到“正在加载”的GIF动态图,
这说明,百度图片也是动态加载的。接着,按F12或者”ctrl+shift+k”打开调试窗口,打开Network窗口,
当我们将鼠标放到图片上时,发现会有GET请求,
我们将这个请求打开来看看,链接如下:
打开的结果是这样的,不是图片,那就不是我们要找的链接,
将“Network”窗口清空,将右侧滚动条快速拉到底部(或者,拉滚动条之前,先将网络关闭,这样更方便我们观察),得到如下请求:
我们发现,”acjson?”开头的请求跟其他的请求不一样,
我们将其拷贝出来打开看看(如果刚才关闭了网络,记得打开哈),得到结果如下图,
复制一个”.jpg”为后缀的链接,打开看看,结果如下图,
我们在搜索页找找,也看到了这张图片,
说明这个链接就是我们想要的,多获取几个这样的链接比较比较有什么规律,
可以看到,除了最后的几个参数的值不一样意外,其他参数都一样,但是,这几个不一样的参数值,又没有什么明显的规律,pn参数的值是一个三位数的整数,gsm是二到三位数的十六进制的数,最后一个参数是十三位数数字。
先不管这些了,写个代码将这些链接里的图片分别爬取并下载,再直观的比较看看咯。
3、爬取单个链接下的图片
3.1、寻找规律
在写代码之前,先来看看这个链接请求到的json数据有什么规律。为了方便查看,用代码将其爬取,然后保存到文本里。代码如下,
#encoding:utf-8
import urllib.request as ur
import re
import codecs
url = 'https://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&ct=201326592&is=&fp=result&queryWord=猪&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=0&word=猪&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&pn=300&rn=30&gsm=12c&1529415766104='
with codecs.open("百度图片json.json", "w", 'utf-8') as fd:
req = ur.Request(url)
req.add_header("User-Agent", "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:47.0) Gecko/20100101 Firefox/47.0")
html1 = ur.urlopen(req, timeout=600).read()
html1 = str(html1.decode('utf-8'))
fd.write(html1)
运行结果:
编码错误,发生在这一句:html1 = ur.urlopen(req, timeout=600).read()
我们发现url里有中文的“猪”字,那么将其改成pig试试?
运行通过。
这个问题就涉及到URL标准了,URl标准只允许一部分ASCII字符(字母、数字及部分符号等),而其他字符,比如汉字,就不符合URL标准,所以当URL使用一些不符合标准的字符时就会出错。可以urllib.request.quote()对URL编码来解决这个问题。
例如,将URL:
'https://image.baidu.com/search/index?tn=baiduimage&word=猪'
进行转码得
'https://image.baidu.com/search/index?tn=baiduimage&word=%E7%8C%AA'
我们还可以用urllib.request.unquote()进行解码,如,
所以,将上面的代码改为,
#encoding:utf-8
import urllib.request as ur
import re
import codecs
import string
url = ur.quote('https://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&ct=201326592&is=&fp=result&queryWord=猪&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=0&word=猪&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&pn=300&rn=30&gsm=12c&1529415766104=', safe = string.printable)
with codecs.open("百度图片json.json", "w", 'utf-8') as fd:
req = ur.Request(url)
req.add_header("User-Agent", "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:47.0) Gecko/20100101 Firefox/47.0")
html1 = ur.urlopen(url, timeout=600).read()
html1 = str(html1.decode('utf-8'))
fd.write(html1)
正确运行,我们打开最前面的两个jpg链接看看,链接为,
https://ss1.bdstatic.com/70cFuXSh_Q1YnxGkpoWK1HF6hhy/it/u=2054088616,1584946369&fm=27&gp=0.jpg
https://ss1.bdstatic.com/70cFuXSh_Q1YnxGkpoWK1HF6hhy/it/u=2054088616,1584946369&fm=27&gp=0.jpg
哎,这两个链接居然一样?那么我们查找一下还有几个重复的链接?
居然有三个!分别对于字段thumbURL、middleURL、hoverURL。查看其他的jpg链接也是一样的,所以,我们只爬取以上任意一个字段下的jpg图片,以免爬取到重复的图片。代码如下:
#encoding:utf-8
import urllib.request as ur
import re
import os
import string
url = ur.quote('https://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&ct=201326592&is=&fp=result&queryWord=猪&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=0&word=猪&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&pn=300&rn=30&gsm=12c&1529415766104=', safe = string.printable)
req = ur.Request(url)
req.add_header("User-Agent", "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:47.0) Gecko/20100101 Firefox/47.0")
html1 = ur.urlopen(url, timeout=600).read()
html1 = str(html1.decode('utf-8'))
pat1 = '"thumbURL":".+?",'
pat2 = 'https:.+?.jpg'
thumbURLs = re.compile(pat1).findall(html1)
imageURLs = re.compile(pat2).findall(str(thumbURLs))
save_dir = 'pig1/'
if os.path.exists(save_dir) is False:
os.mkdir(save_dir)
# print(imageURLs)
for index, imageurl in enumerate(imageURLs):
try:
data = ur.urlopen(imageurl, timeout=20).read()
fd = open(save_dir + 'pig' + '_' + str(index) + '.jpg', "wb")
fd.write(data)
fd.close()
except:
print('异常...')
运行结果:
为了找到规律,我们试着将上面URL的“&1529415766104=“加一改成“&1529415766105=“试试,当然,保存的路径也要改成”pig2“,得到如下结果,
对比发现,两个链接得到的图片是一样的,可以猜测最后一个参数可能是没用的,将其去掉。将”&gsm=12c“改成”&gsm=12b“试试,得到的图片还是一样的,如下图,
再将”&pn=300“改成”&pn=401“试试,得到结果如下,
总算不一样了,再试试”&pn=402“,得到结果如下(右边是402的结果),
我们发现,除了第一张和最后一张图片不一样以外,其他的图片都只是错位而已,而且,得到的图片数量为30,”&rn=“的参数刚好是30,由此可以猜测,”&pn=“相当于指定图片序列的下标,”&rn=“指定获取的图片张数。找到规律以后就好办了,接下来开始撸代码。
3、代码实现
4.1、思路
我们将搜索关键词设置为“猪”、“蛇”、“狗”、“老虎”、“大象”,每个种类获取两千张图片,每次请求50张图片,将其保存到相应的种类的文件夹下。为了加快效率,开启5个线程来爬取和保存图片,修改上面的代码即可。
4.2、完整代码
由于比较简单,所以直接给完整的代码吧。
#encoding:utf-8
import urllib.request as ur
import re
import os
import string
import threading
def get_image(keyworld, pn, rn, type, i):
try:
url = ur.quote(
'https://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&ct=201326592&is=&fp=result'
'&queryWord=' + keyworld + '&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=0&word=' + keyworld +
'&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&pn=' + str(pn) + '&rn=' + str(rn) + '&gsm=1e&1529504588260=',
safe=string.printable)
req = ur.Request(url)
req.add_header("User-Agent", "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:47.0) Gecko/20100101 Firefox/47.0")
html1 = ur.urlopen(url, timeout=600).read()
html1 = str(html1)
pat1 = '"thumbURL":".+?",'
pat2 = 'https:.+?.jpg'
thumbURLs = re.compile(pat1).findall(html1)
imageURLs = re.compile(pat2).findall(str(thumbURLs))
save_dir = type + '/' + type + i + '/'
if os.path.exists(save_dir) is False:
os.makedirs(save_dir)
for index, imageurl in enumerate(imageURLs):
try:
data = ur.urlopen(imageurl, timeout=20).read()
fd = open(save_dir + type + '_' + str(pn) + '_' + str(index) + '.jpg', "wb")
fd.write(data)
fd.close()
except Exception as e:
print('保存图片异常:' + e)
except Exception as e:
print('获取图片url异常:' + e)
class ThreadA(threading.Thread):
def __init__(self):
threading.Thread.__init__(self)
def run(self):
for i in range(40):
get_image('猪', i * 50, 50, 'Pig', str(i))
class ThreadB(threading.Thread):
def __init__(self):
threading.Thread.__init__(self)
def run(self):
for i in range(40):
get_image('蛇', i * 50, 50, 'Snake', str(i))
class ThreadC(threading.Thread):
def __init__(self):
threading.Thread.__init__(self)
def run(self):
for i in range(40):
get_image('狗', i * 50, 50, 'Dog', str(i))
class ThreadD(threading.Thread):
def __init__(self):
threading.Thread.__init__(self)
def run(self):
for i in range(40):
get_image('老虎', i * 50, 50, 'Tiger', str(i))
class ThreadE(threading.Thread):
def __init__(self):
threading.Thread.__init__(self)
def run(self):
for i in range(40):
get_image('大象', i * 50, 50, 'Elephant', str(i))
if __name__ == '__main__':
tA = ThreadA()
tA.start()
tB = ThreadB()
tB.start()
tC = ThreadC()
tC.start()
tD = ThreadD()
tD.start()
tE = ThreadE()
tE.start()
4.3、运行结果
运行上面代码后,在当前目录下生成五个文件夹,每个文件夹下对应其分类的图片,如下图,
拿Dog分类来将,其文件夹下有40个目录,每个目录对应每次请求,里面有每次请求得到的50张图片。这样做是为了方便删除无效的图片,因为百度图片搜索的结果不一定是对的,有时候搜索猪,可能得到的是一个人的图片。
总结:
因为仅供学习使用,所以我就没有爬取太多图片,省得整理图片花去太多心思。如果爬取的图片很多,而且对方服务器采取了反爬虫措施,那么,可能就得使用代理服务器或者更高级点的伪装了,这里就不涉及了,够用就好。接下来,我们就的整理这些下载下来的图片了,将无效的图片去除,留着下一节使用。