python——简易多线程爬虫实现

多线程爬虫简单爬取网页实例

import multiprocessing
import requests
from requests.exceptions import ConnectionError

def scrape(url):
	try:
		print("爬取%s成功！收到%s"%(url,requests.get(url)))
	except ConnectionError as e:
		print("爬取%s出错！"%(url))
		
if __name__ == '__main__':
	pool = multiprocessing.Pool()   #创建多线程实例
	urls = ['http://www.metro.cn/',  #创建访问的网址列表
			'http://www.shuichan.cc/',
			'http://www.51sole.com/',
			'http://www.x009.com/',
			'http://www.x009.comd/'
			]
	pool.map(scrape,urls) #通过进程池映射方法实现爬虫函数与网址的多进程映射关系

其中response【200】表示成功获取网页信息，可以获取想要的信息，200为响应的状态码，如果是404就是访问网页失败

正在尝试写博客，把会的分享给你们，如有写的不好的地方，希望指点一下，谢谢！