Python 爬虫 批量下载论坛图片

原创文章，欢迎转载。转载请注明出处：http://blog.csdn.net/jmppok/article/details/16847697

前几天心血来潮，写了个Python程序，用来下载论坛上的图片。具体作用请小伙伴们自己开发(你懂的)...

Python 2.7版本

使用方法：httpdown_p.py url

例如下载“安卓论坛壁纸”可以通过命令：httpdown_p.py http://bbs.hiapk.com/forum-37-1.html

1.原理

包括三个py文件：httpdown_p.py analyseurl.py analysepic.py

其中httpdown_p.py是主文件，输入一个URL， 调用analyseurl分析该url网页中包含的所有子页面的url（如论坛首页中包含的url）；

analyseurl.py 目前只分析了一级。所以使用的时候，要注意，必须该url页面中点击一下就能进入有图片的页面。

analysepic.py则根据analyseurl.py的分析结果，再提取该url页面中的所有图片。

最后再由httpdown_p.py下载这些图片。

2.问题

1)目前没有采用多线程下载，所以下的较慢；

2)图片存放位置为当前目录，没有细分目录；

3)之下载了大于40K的图片（该限制可在httpdown_p.py中修改）；

4)重复的图片没有下载；

5)分析url时，解析的格式为"http://xxs.html"或"http://xx.htm",如果网站是相对url，这个还解析不出来。不过可以自行修改analyseurl.py ;

6)分析图片时，解析格式为"http://"开头，以['.jpg','jpeg','.png','.gif','.bmp']结尾，其他格式或相对地址也无法解析。

3.代码

httpdown_p.py

#!/usr/bin/python
# -*- coding: utf-8 -*-

import urllib2,re,string,sys
from time import sleep
import md5
import json
import analysepic,analyseurl
out_dir='.'
size_limit=40960
def http_down(url):
	try:
		#use proxy
		"""
		proxy_support = urllib2.ProxyHandler({'http':'http://1.179.128.3:8080'})
        opener = urllib2.build_opener(proxy_support,urllib2.HTTPHandler)
        urllib2.install_opener(opener)
		"""
		#request = urllib2.Request(url)
		http_file = urllib2.urlopen(url)
		info=http_file.info()
		#for key,value in info.items():
		#	print ("%s = %s" % (key,value))
		
		size = string.atoi(info['content-length'])
		#print 'size=%d' %(size)
		if size >= size_limit:
			filename = url[url.rindex('/')+1:]
			f = open(out_dir+'/'+filename,'wb')
			content = http_file.read()
			f.write(content)
			f.close()
			print 'Down: %s' %(url)
		else:
			print 'Igno: %s' %(url)
		http_file.close()
	except Exception,e:
		print 'download error: ',e,url
	

def http_down_p(urls):
	for url in urls:
		http_down(url)
			
			
def main(url):
	#pics = analysepic.analyse_pic("http://discovery.163.com/photoview/4T8F0001/39413.html?from=tj_xgtj#p=9C6GI6EJ4T8F0001")
	urls = analyseurl.analyse_url(url)
	print "%d url found!" %(len(urls))
	all_pics=[]
	i=0
	for u in urls:
		i+=1
		pics = analysepic.analyse_pic(u)
		print "[%3d]%d pics found in '%s'" %(i,len(pics),u)
		for pic in pics:
			if not pic in all_pics:
				all_pics.append(pic)
	print "total pics %d" %(len(all_pics))
	http_down_p(all_pics)
	
if __name__=='__main__':
	if(len(sys.argv)<2):
		print "Usage: httpdown.py url"
	else:
		main(sys.argv[1])

analyseurl.py

#!/usr/bin/python
# -*- coding: utf-8 -*-

import urllib2,re,string,sys
from time import sleep
import md5
import json

sufixs=['.html','htm']
def analyse_url(url):
	pic_urls=[]
	try:
		http_file = urllib2.urlopen(url)
		lines = http_file.readlines()
		for line in lines:
			new_line = string.lower(line)
			begin = new_line.find("http://")
			if(begin>0):
				end_index=new_line.find("\"",begin)
				end_str = ''
				end=-1
				for suf in sufixs:
					end = new_line.find(suf,begin,end_index)
					if(end>0):
						end_str=suf
						break;
				end  =end+len(end_str)
				if(begin>0 and end>0 and begin<end):
					pic_url=line[begin:end]
					pic_urls.append(pic_url)
		http_file.close()
		
	except Exception,e:
		print 'error: ',e
	return pic_urls
		
	
if __name__=='__main__':
	if(len(sys.argv)<2):
		print "Usage: analyseurl.py url"
	else:
		result = analyse_url(sys.argv[1])
		for item in result:
			print item

analysepic.py

#!/usr/bin/python
# -*- coding: utf-8 -*-

import urllib2,re,string,sys
from time import sleep
import md5
import json

sufixs=['.jpg','jpeg','.png','.gif','.bmp']

def get_one_pic(l):
			new_line = string.lower(l)
			index = -1
			end_str = ''
			for suf in sufixs:
				index = new_line.find(suf)
				if(index>0):
					end_str=suf
					break;
			if(index>0):
				begin=l.rfind("http:",l.rfind("\"",0,index),index)
				end  =index+len(end_str)
				if(begin>0 and end>0 and begin<end):
					pic=l[begin:end]
					return (pic, end)
			return ("",-1)

def analyse_pic(url):
	pic_urls=[]
	try:
		http_file = urllib2.urlopen(url)
		lines = http_file.readlines()
		for line in lines:
			pic_url,end_index=get_one_pic(line)
			while(len(pic_url)>0):
				pic_urls.append(pic_url)
				print pic_url
				line=line[end_index:]
				pic_url,end_index=get_one_pic(line)

		http_file.close()
		
	except Exception,e:
		print 'error: ',e
	return pic_urls
		
	
if __name__=='__main__':
	if(len(sys.argv)<2):
		print "Usage: analysepic.py url"
	else:
		result = analyse_pic(sys.argv[1])
		for item in result:
			print item

4.运行结果