需要指定关键字和爬虫的页数
#!/usr/bin/python
# _*_ coding: utf-8 _*_
'''
Created on 2018年8月23日
程序逻辑,通过requests包的方法,获取url,然后下载到本地文件夹内
问题点:
一、中文乱码。程序是把关键字+编号+.jpg作为图片名称,但是目前由于操作系统的编码是gbk,所以乱码。
'''
import re
import requests
def dowmloadPic(html, keyword, pages):
pic_url = re.findall('"objURL":"(.*?)",', html, re.S)
i = 1
print('找到关键词:' + keyword + '第' +str(pages) + '页的图片,现在开始下载图片...')
for each in pic_url:
print('正在下载第' + str(i) + '张图片,图片地址:' + str(each))
try:
pic = requests.get(each, timeout=10)
except requests.exceptions.ConnectionError:
print('【错误】当前图片无法下载')
continue
dir = '../images/' + str(pages) + '_' + str(i) + '.jpg'
fp = open(dir, 'wb')
fp.write(pic.content)
fp.close()
i += 1
if __name__ == '__main__':
word = raw_input("Input key word: ")
page = input("the pages: ")
for k in range(0,page):
url = 'https://image.baidu.com/search/flip?tn=baiduimage&word='+word+'&pn='+str(k*20)
result = requests.get(url)
dowmloadPic(result.text, word, k)
转载于:https://blog.51cto.com/hui90877/2163478