python实现爬虫收集图片_python实现图片爬虫

#encoding:utf-8

import sys

reload(sys)

sys.setdefaultencoding('utf8')

from sgmllib import SGMLParser

import re

import urllib

class URLLister(SGMLParser):

def start_a(self, attrs):

url = [v for k, v in attrs if k=='href']

if url : urll = url[0]

else : return

if urll :

if urll in globalList : return

if isSou(urll) :

if sechDir(imgList , urll) > 0 :

print 'Fetcher page at ' + ' img alredy saved ... ignore . Queue size : '+str(Queue.__len__())

imgList.append(urll)

return

else :

savImg(urll)

imgList.append(urll)

globalList.append(urll)

print 'Fetcher page at ' + urll + ' save img complete as . Queue size : '+str(Queue.__len__())

else :

if sechDir(fetList , urll) > 0 :

imgList.append(urll)

return

else :

imgList.append(urll)

enQ(urll)

print 'Fetcher page at ' + urll + ' a new url , append in Queue . Queue size : '+str(Queue.__len__())

def unknown_starttag(self , tag , attrs) :

return

fetList = [] # list of url listener fetched . 这是非资源url的历史列表，存在于此表中的url将不会再被爬取

imgList = [] # list of url saved pictures #这是资源url的历史列表，存在于此表中的资源不会再被下载

rgxStr = r'(http://www.bizhijidi.com/)*/wallpapers/[0-9]*/[0-9]*/[^x00-xff]*-900x1600.jpg' #这是需要下载资源的正则表达式，正则#表达式是啥我就不说了，不知道的自己去面壁。。

regrgStr = r'^(http://www.bizhijidi.com/)' #这是全局的网址正则匹配式

staURL = r'http://www.bizhijidi.com/' #这是起始的url

imgPath = r'/home/zhangjilun/bizhijidi/' #存放图片的本地路径

Queue = ['http://www.bizhijidi.com/'] #这是url队列，起始时只有起始url在里面

fileName = [] #filename全局列表。。。暂时木有用。。。留着备用

globalList = [] #全局url列表，用于第一次筛选url

#这是动态生成图片文件名的函数，就是取的url里的文件名

def changeName(url) :

if url :

s=url.split('/')

return s[-1]

#保存图片的函数，很简单的fileIO

def savImg(url) :

if url :

url = 'http://www.bizhijidi.com' + url

imgData = urllib2.urlopen(url).read()

imgName = changeName(url)

print imgName

p = imgPath + imgName

print 'File Path : '+p

output = open(p,'wb+')

print 'Saving img ... '

output.write(imgData)

output.close()

return 1

else :

return 0

#判断连接url是否符合站类url正则式，否则为站外连接，会被ignore掉

def inRange(url) :

if url :

#print 'cheak url is inrange : '

#print regrgStr

#print url

m = re.match(regrgStr , url)

if m : return 1

else : return 0

return 0

#判断url是否是一个资源图片url，同样用正则式实现

def isSou(url) :

if url :

#print 'cheak url is in source : '

#print url

m = re.match(rgxStr , url)

if m : return 1

else : return 0

return 0

#检查列表，如果列表中存在了该url，那么url会被ignore掉

def sechDir(List , url) :

if List : return -1

if url :

if List.__len__() == 0 :

List.append(url)

else :

if url in List : return 1

else : return 0

#入队列函数

def enQ(url) :

Queue.insert(0 , url)

return 1

#出队列函数

def deQ() :

url = Queue.pop()

print 'Pop url : ' + url

return url

#判断队列是否为空

def cheakQ() :

if Queue.__len__() != 0 : return 1

else : return 0

#最后有一个主方法：

def readPage(url):

sock=urllib.urlopen(url)

listener = URLLister()

listener.feed(sock.read())

sock.close()

listener.close()

return

#每弹出一个url，就调用这个主方法。

#就像这样：

while cheakQ() != 0 :

#print 'Reading page ... Queue len : ' + str(Queue.__len__())

readPage(deQ())

print 'Fetcher complete ...'