python easyicon同类型ico图片批量爬取

这是第二篇有关图片爬取的博客。似乎本人对图片情有独钟。这篇博客主要是还是用于记录我的学习记录。同时,我们在编写界面的时候,经常需要从网上下载一些ico图标用于自定义控件,也许不同的程序员有自己的下载方式,这是我的方式,把它记录下来。

easyicon是一个开放的图片网站,网址为http://www.easyicon.net/

在搜索栏输入关键字之后,可以搜到很多图片。在编写界面的时候,我们有时需要许多风格一致的图片。很幸运的是,easyicon的图片组织是基于风格的。以下进入分析过程:

首先,我在搜索栏输入"close"关键字,结果为:


假如我对第三张图感兴趣,则点击它,进入下载界面:


点击ico图标下载,就能进行ico图标下载。很好,这就是我想要的,接下来就来分析如何获取这个图标下载请求。

首先按F12,在开发者窗口中选择Network,接着点击ico图标下载,发现什么也没有。看来用浏览器本身无法获取这个请求的过程。那么使用抓包工具Fiddle。启动Fiddle后,重新点击下载,


第一项是我想要的,点击查看其信息头:


在这里,先注意一下Referer一项,先来说明一下这个url。后面的段的组成是“图标的id-图标的名称_icon.html”

因此在这里,我知道了,若要爬取这张图片,我需要知道它的id以及它的名称。怎么知道呢?在搜索出来的结果中,网页的元素结构中应该可以找到。如下图图标的结构中,src属性的值的最后一项值就是我们想要的id:="1205793.gif"。而alt就是我们所要的名称。那么就简单了,只要先爬取网页的内容,然后从其中用正则表达式筛选出图表的id及alt。之后就可以生成Referer了。而请求的链接,我们可以在Fiddle中我刚才点击的哪一项的信息头中知道链接为:http://download.easyicon.net/ico/图标id/128/


于是可以编写一个接口:

def crawico(imgid,key,path):
    try:
        print('start craw one img..')
        url='http://download.easyicon.net/ico/'+str(imgid[0])+'/128/'
        print('craw url:'+url)
        referer='http://www.easyicon.net/'+str(imgid[0])+'-'+urllib.request.quote(key[0])+'_icon.html'
        print('referer'+referer)
        cjar=http.cookiejar.CookieJar()
        opener=urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cjar))
        headers=[('Accept','text/html,application/xhtml+xml,*/*'),('Accept-Language','zh-CN'),('UA-CPU','AMD64')
             ,('User-Agent','Mozilla/5.0 (Windows NT 6.3; Win64; x64; Trident/7.0; rv:11.0) like Gecko'),
             ('Referer',referer),('Connection','Keep-Alive'),('Host','download.easyicon.net')]
        opener.addheaders=headers
        urllib.request.install_opener(opener)
        print("craw img:"+url+"to"+path)
        urllib.request.urlretrieve(url,filename=path)
    except urllib.error.URLError as e:
        if hasattr(e,"code"):
            print(e.code)
        if hasattr(e,"reason"):
            print(e.reason)
    except Exception as e:
        print("exception:"+str(e))

接着,如何批量的爬取同种类型的图片呢?在close的下载页面中,下拉可以看到这样的项:

点击more,来看看跳转出来的页面的链接地址:http://www.easyicon.net/iconsearch/iconset:Control-icons/,这个地址中http://www.easyicon.net/iconsearch/是固定的,而iconset:Control-icons中Control-icons就是类型的名称。那么,我们只要知道了想要下载的图片的类型,那么就可以构造链接,然后爬取同类型的图片。如何知道图片的类型呢?

在close的下载界面中,我们可以注意到如下项:

没错,这就是我想要的。同样,按F12,分析其脚本:

那么,我们就可以构造正则表达式来抓取这个类型名称。

综上所述,那么我有了这样的爬取方案:首先,选取我们需要的图片,进入其下载界面,获取图标所属的类型,构造类型图标的链接。用链接请求到同种类型的图片的网页,接着将网页下的图片一张一张的爬取下来。

如果同种类型的图标有多页怎么办,比如close这个类型的图标的链接为:http://www.easyicon.net/iconsearch/iconset:Control-icons/,这是第一页,则第二页为:

http://www.easyicon.net/iconsearch/iconset:Control-icons/2/。那么现在我们清除规则了。现在直接贴上这个过程的代码:

def gethtml(url):
    req=urllib.request.Request(url)
    req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.3; Win64; x64; Trident/7.0; rv:11.0) like Gecko')
    data=str(urllib.request.urlopen(req).read())
    return data

def geteasyiconseturl(urlcontent):
    setid='href="/iconsearch/iconset:(.+?)/">'
    ids=re.compile(setid).findall(urlcontent)
    print('iconset:'+str(ids[0]))
    url='http://www.easyicon.net/iconsearch/iconset:'+ids[0]+'/'
    return url

def crawHtml(url,path):
    try:
        img='<img src=\".+?>'
        nextp='<div class="pages_all">(.+?)</div>'
        ll=url+'1/'
        data=gethtml(ll)
        ne=re.compile(nextp).findall(data)
        nex='href="(.+?)">'
        nee=re.compile(nex).findall(ne[0])
        t=0
        x=1
        while (t-1<len(nee)-1):
            data=gethtml(ll)
            print("craw set:"+ll)
            imgs=re.compile(img).findall(data)
            print(str(imgs[0]))
            imgid='/(\d{7}).gif'
            keyc='alt="(\w+?)"'
            #path=input("enter the path that the imgs will be save as:")
            for i in imgs:
                imgsid=re.compile(imgid).findall(i)
                key=re.compile(keyc).findall(i)
                print(key)
                imgname=path+'/'+str(x)+'.ico'
                x+=1
                crawico(imgsid,key,imgname)
            print('page:'+str(nee[t]))
            ll='http://www.easyicon.net'+str(nee[t])
            print('gen set:'+ll)
            t+=1
    except urllib.error.URLError as e:
        if hasattr(e,"code"):
            print(e.code)
        if hasattr(e,"reason"):
            print(e.reason)
    except Exception as e:
        print("exception:"+str(e))





  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值