python 抓取100000张图片

最新推荐文章于 2024-04-17 22:34:13 发布

ipqhjjybj

最新推荐文章于 2024-04-17 22:34:13 发布

阅读量1.1k

点赞数

分类专栏： python 数据抓取文章标签： python 数据抓取

本文链接：https://blog.csdn.net/hlyfalsy/article/details/30320957

版权

python 同时被 2 个专栏收录

8 篇文章 0 订阅

订阅专栏

数据抓取

2 篇文章 0 订阅

订阅专栏

某老师的作业。说做完直接给优。。。真是愉快。。

#!/usr/bin/python env
import bs4,urllib2,urllib,sys
import time
import traceback
from bs4 import BeautifulSoup
reload(sys)
sys.setdefaultencoding("utf-8")

def getImage(addr):
    u = urllib.urlopen(addr)
    data = u.read()

    splitPath = addr.split('/')
    fName = splitPath.pop()
    print fName

    f = open(fName, 'wb')
    f.write(data)
    f.close()

getImage("http://f11.topit.me/l/201010/24/12879143531545.jpg")

for number in range(0,1111111):
	url = "http://www.topit.me/item/"+str(number)
	print url
	try:
		data = urllib2.urlopen(url)
		doc = data.read()
		soup = BeautifulSoup(doc)
		f = soup.find('div',{"id":"canvasbox"})
		if f != None:
			f = f.find('a',{"id":"item-tip"})
			if f!= None:
				now_url = f.get('href')
				print now_url
				getImage(now_url)
	except Exception as err:
		print (err)
		traceback.print_exc()
		time.sleep(10)
		continue

请先安装python 环境跟 BeautifulSoup模块