上面介绍用scrapy爬取图片,现在咱们就用requests库实现图片以及其他多媒体文件的获取吧。
由于所爬去的网页图片是有js动态渲染过得,单纯的requests库是获取不到链接的,所以用selenium+phantomjs实现链接的提取,以下是具体的代码
from _md5 import md5
import requests
from selenium import webdriver
import re
from multiprocessing import Pool
# 获取完整网页源码
def get_one_html(url):
browser = webdriver.Phantomjs()
browser.get(url)
p_source = browser.page_source
browser.close()
return p_source
# 用正则表达式提取链接并且返回URL
def parse_html(html):
pattern = re.compile('<li.*?<img src="(.*?)".*?/>.*?</li>', re.S)
urls = re.findall(pattern, html)
print(urls)
return urls
# 下载图片,注意的是文件写入的是二进制,并且文件名使用MD5生成固定长度的十六进制,防止文件名冲突,index表示页数
def download_imgs(urls):
print('one page')
for index, url in enumerate(urls):
response = requests.get(url)
content = response.content
file_path = '{0}\\{1}{2}{3}'.format('F:\\jdpics', md5(content).hexdigest(), index, '.jpg')
with open(file_path, 'wb') as f:
f.write(content)
print('当前页面爬取完成')
# 构造一个可以变化的URL,并下载
def main(i):
url = 'http://jandan.net/ooxx/page-'+str(i)+'#comments'
html = get_one_html(url)
urls = parse_html(html)
download_imgs(urls)
# 实现一个多进程爬虫
if __name__ == '__main__':
# for i in range(1, 85):
# url = 'http://jandan.net/ooxx/page-'+str(i)+'#comments'
# main(url)
pool = Pool()
pool.map(main, [i for i in range(1, 85)])