python爬取网站图片

周末自己花时间看了一下python爬取网络图片的一些实例，自己动手也操作了一下。

算是记录一些知识点。

Python爬取网站信息有lxml和beautifulsoup这两个库。具体beautifulsoup可以很好的处理不规范的标记并生成剖析，是用python写的一个html/xml的解析器。提供简单又常用的导航，搜索及修改剖析树的操作。Lxml是python语言里和xml以及html工作的功能最丰富和最容易使用的库。Lxml利用元素遍历法来处理数据，而不是像beautifulsoup一样利用正则表达式来提取数据，提供的xpth功能可以更方便定位元素。我使用的是lxml，只是简单的使用了它的xpath定位功能，具体的其他功能还有待挖掘，api网址：http://lxml.de/ 

参考网址：http://blog.csdn.net/betabin/article/details/24392369 

http://www.th7.cn/Program/Python/201602/764736.shtml 

Lxml下载地址：https://pypi.python.org/pypi/lxml/3.4.4#downloads 直接下载exe文件安装，以减少各种不必要的麻烦。

通过分析网站链接地址可以清楚每个图片页的链接，将这些请求的链接放到list中：

baseurl="http://www.immtb.com/xiaohua/2015/0916/39_"

urls=[]

for i in range(2,6):

urls.append(baseurl+str(i)+".html")

然后分别访问这个list中的链接。

response=requests.get(url,headers=self.headers)  #headers表示自己是哪个浏览器

html=response.content   #content表示得到源码的内容

Page=etree.HTML(html.lower().decode(‘utf-8’))   #lxml必须进行编码转换

附上完整代码：

#!usr/bin/python

# -*- coding: utf-8 -*-

import re

import requests

from lxml import html

from lxml import etree

import sys

import os

'''

仅仅是练手，转载请注明出处

'''

class Pics(object):

    user_agent = 'Mozilla/5.0 (compatible; MSIE 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.82 Safari/537.36'

    headers = {'User-Agent':user_agent}

    mypicurls=[]

    mypicname=[]

    listdigui=[]

    #原始四条url

    def getpicUrl(self):

        baseurl="http://www.immtb.com/xiaohua/2015/0916/39_"

        urls=[]

        for i in range(2,6):

            urls.append(baseurl+str(i)+".html")

        #print urls

        for url in urls:

            responsing=requests.get(url,headers=self.headers)

            #print responsing

            html=responsing.content     #得到网页的源代码内容

            #print html

            page=etree.HTML(html.lower().decode('utf-8'))

            #hs=page.xpath(u"//p")

            #print hs[0].text

            images=page.xpath(u"//*[@id='showimg']/a/img")

            for i in images:

                print i.attrib     #表示得到这个xpath中的 属性值

                #print i.text   #表示得到这个xpath中的值

                #print str(i.attrib)

                aa=dict(i.attrib)        #转换成字典类型，可以查找其中的src所代表的图片地址

                #print type(aa)

                print aa['src']

                myimageurl=aa['src']

                self.digui(myimageurl)   #通过递归得到图片的名字

                print self.listdigui[-1]   #图片最终保存名字

                self.mypicname.append(self.listdigui[-1]) #将得到的图片的文件名称添加到list中去

                self.mypicurls.append(myimageurl)    #将得到的image链接填到list中去

    #cc='http://www.immtb.com/xiaohua/2015/0916/39_'

    def digui(self,c):

        z=c.find("/")

        if z!=-1 :

            self.listdigui.append(c[0:z])

            c=c[z+1:]

            self.digui(c)

        else:

            self.listdigui.append(c)

    #digui(cc)

    #print listdigui            

    def mypicdirs(self):

        filedir="D:/test/meitu/"

        if not os.path.exists(filedir):

            os.makedirs(os.path.join('D:/','test','meitu'))

        return filedir

    def savemyimg(self):

        self.getpicUrl()

        dirs=self.mypicdirs()

        

        leng=len(self.mypicurls)

        for i in range(0,leng):

            try:

                uris=requests.get(self.mypicurls[i],headers=self.headers,stream=True)

                myimagepic=open(dirs+self.mypicname[i],"wb")

                myimagepic.write(uris.content)

            except Exception,e:

                print e

if __name__=="__main__":

    Pics().savemyimg()