【python小练习】百度图片小爬虫

第一篇博客翻译了一个21行的单词纠错器,这次就给大家贡献一个21行的百度图片爬虫。(我仿佛很喜欢21这个数字嘛。。。)因为博主最近在做一个pix2pix的项目,需要很多图片作为原始训练集,因此想到了自己爬一个数据集。
因为博主本人的编程渣功底,所以这次的代码也相当于是一个玩具代码,试试通过识别url,正则匹配的一些简单的操作,实现爬取所需网络图片并且保存下来的功能,具体的一些爬虫的更高深的知识如果大家有兴趣,可以学习Beautiful soup和scrapy两个包的使用。编写更加无敌的爬虫。

老惯例,先把代码粘上,如果是想拿去用的同学,看到这一步就可以带着代码走了!~用的是python2.7~没啥依赖包 re和requests貌似都是自带的?

#-*- coding:utf-8 -*-
import re
import requests
n=10
for i in range(n):
    tem=str(i*60)
    url='https://image.baidu.com/search/flip?tn=baiduimage&ie=utf-8&word=%E5%B0%8F%E9%BB%84%E4%BA%BA&pn='+tem+'&gsm=0'
    html=requests.get(url).text
    pic_url=re.findall('"objURL":"(.*?)",',html,re.S)
    n=i*60
    for each in pic_url:
        print each
        try:
            pic=requests.get(each,timeout=80)
        except requests.exceptions.ConnectionError:
            print '打不开!哼'
            continue
        string='pictures\\'+str(n)+'.jpg'
        fp=open(string,'wb')
        fp.write(pic.content)
        fp.close()
        n=n+1

使用方式

简述一下这个代码的使用方式,首先,打开百度图片。搜索一个关键词,如“小黄人”。此时你会发现网址是一个很奇怪的东西:
https://image.baidu.com/search/index?tn=baiduimage&ie=utf-8&word=%E5%B0%8F%E9%BB%84%E4%BA%BA&ct=201326592&v=index
并且没有翻页按钮,是瀑布流的模式,会随着你往下滚鼠标而不断加载新的图片。这不利于我们严谨的编程思维,因此我们点击屏幕右上角的,传统翻页模式:

给我的蠢萌百度名字加个马赛克

此时你的网址还是一大堆你根本看不懂的东西!
https://image.baidu.com/search/flip?tn=baiduimage&ie=utf-8&word=%E5%B0%8F%E9%BB%84%E4%BA%BA&ct=201326592&v=flip

此时,我们翻到第二页,你发现,网址变成了:
https://image.baidu.com/search/flip?tn=baiduimage&ie=utf-8&word=%E5%B0%8F%E9%BB%84%E4%BA%BA&pn=20&gsm=0
第三页,网址:
https://image.baidu.com/search/flip?tn=baiduimage&ie=utf-8&word=%E5%B0%8F%E9%BB%84%E4%BA%BA&pn=40&gsm=0

终于发现了规律!秘密就在pn后面的数值上。但是这里需要注意,你有时候会发现“gsm=”后面的数值不是0,而是一些奇奇怪怪的乱码,我一开始以为是百度为了防止我们爬取它的图片故意这么设置的,后来发现,你把结尾的“gsm=”后面的东西改成0,仍然是你i需要的页面。此时,我们就可以愉快的把这个东西粘贴进代码中的url部分,开始搜集小黄图了!(误!小黄人)

在该代码所在的路径下,新建一个叫“picture”的文件夹,图片就会自动保存在这个文件夹中了!现在代码中每个循环会自动保存60张图,range(n)代表进行n次循环,你可以根据自己想要图片数更改这个值。最终得到的图片数约为60*n。然后运行这个代码,你就会发现小黄人”刷刷刷”写进你的硬盘啦~

以上就是使用这个代码的全部方法了咳咳不想知道原理的同学!你可以愉快的去爬取自己喜欢的图片了~~接下来我们假装介绍一下原理!~

一些原理

为了简便的介绍一下原理,我们考虑每一个单独的循环中发生的事情,请想象现在i=0。

    url='https://image.baidu.com/search/flip?tn=baiduimage&ie=utf-8&word=%E5%B0%8F%E9%BB%84%E4%BA%BA&pn='+tem+'&gsm=0'
    html=requests.get(url).text
    pic_url=re.findall('"objURL":"(.*?)",',html,re.S)
    n=i*60
    for each in pic_url:
        print each
        try:
            pic=requests.get(each,timeout=80)
        except requests.exceptions.ConnectionError:
            print '打不开!哼'
            continue
        string='pictures\\'+str(n)+'.jpg'
        fp=open(string,'wb')
        fp.write(pic.content)
        fp.close()
        n=n+1

首先我们通过request请求,解析url中存储的内容!

html=requests.get(url).text

然后发现得到这样一堆玩意:
debug时候看到的html中的内容
这些其实就是原网页解码的内容,经过分析我们会发现其中有很多长得很像图片地址的,”jpg“结尾的东西,分别是hoverURL,objURL和fromURL,通过把这三个关键词后面跟着的地址粘进浏览器我们发现”objURL“是最大最清晰的一个!因此,就是我们所需的下载地址啦。

接下来只需要写一个正则匹配的式子,把objURL后面跟着的,冒号开头,逗号结尾的中间的图片地址抓出来就好了!!~

pic_url=re.findall('"objURL":"(.*?)",',html,re.S)

接下来就是循环抓到的地址列表,一个一个的把图片显示并且保存下来。

        try:
            pic=requests.get(each,timeout=80)
        except requests.exceptions.ConnectionError:
            print '喵喵喵,图片打不开'

有时候图片有可能打不开,在中间加一个timeout=80的控制符,就是尝试打80秒钟,打不开就输出”喵喵喵,图片打不开“
然后你就会get一个一会下载图片,一会喵喵卖萌的图片小爬虫啦~~

经过实践发现,每一个url抓取到的html中其实包含60张图片,是三页的内容,根据我们之前发现的pn后面的数值和页码之间的关系,我们就可以在整个程序外面再嵌套一个大循环,来作为自动翻页。每次pn后边的数字就是i*60(60张图片翻页一次,也就是更换url一次)。然后再设置一个n参数来给图片命名,存一张图片就让n++,保证每张图片按顺序命名。

接下来就尽情享受这个可爱的图片小爬虫吧。。。可怜的博主继续去处理图片制作训练集了TAT

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:大白 设计师:CSDN官方博客 返回首页
评论 8

打赏作者

irfan_Icmll

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值