不同的网址,主要是headers 需要修改
BeautifulSoup查找的标签,需要进入开发者工具界面,定位出图片所在的标签。
代码在pthon3.5 上能直接用
import requests ##导入requests
from bs4 import BeautifulSoup ##导入bs4中的BeautifulSoup
import os
headers = {'User-Agent':"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36"}
all_url = 'https://www.pexels.com/search/leaf/'
start_html = requests.get(all_url, headers=headers) ##使用requests中的get方法来获取all_url(就是:https://www.pexels.com/search/leaf/这个地址)的内容 headers为上面设置的请求头、请务必参考requests官方文档解释
#print(start_html.text) ##打印出start_html (请注意,concent是二进制的数据,一般用于下载图片、视频、音频、等多媒体内容是才使用concent, 对于打印网页内容请使用text)
Soup = BeautifulSoup(start_html.text, 'lxml') ##使用BeautifulSoup来解析我们获取到的网页(‘lxml’是指定的解析器 具体请参考官方文档哦)
##使用BeautifulSoup解析网页过后就可以用找标签呐!(find_all是查找指定网页内的所有标签的意思,find_all返回的是一个列表。)
x=1
all_a = Soup.find('div', class_='photos').find_all('a') ##意思是先查找 class为 all 的div标签,然后查找所有的<a>标签。
for a in all_a:
img = a.find_all('img')[0]
#print(img)
title = img['data-pin-media'] #取出img标签属性
src = img['src'] #取出img标签属性src
print(title,src)
html = requests.get(src,headers=headers)
html_soup = BeautifulSoup(html.text, 'lxml')
#urllib.request.urlretrieve(image['src'],"E:\\WORK\\py\\TensorFlow\\爬取树叶图片\\BS-Soup-gaijin\\%s.jpg"%(x))
name = "E:\\WORK\\py\\TensorFlow\\爬取树叶图片\\BS-Soup-gaijin\\"
f = open(name+'%s.jpg'%(x), 'ab')##写入多媒体文件必须要 b 这个参数!!必须要!!
f.write(html.content) ##多媒体文件要是用conctent哦!
f.close()
x = x+1