这里利用周末的时间复习了一下关于爬虫的一些基本知识,分别是requests, BeautifulSoup库的基本知识:
如果还有不会的可以去看看这些内容:
参考
requests库
ok,废话不多说,张家界一直是我像要去的一个风景优美的地方,但是一直没有时间去,无奈,只能在网上爬取美图来过过瘾了
首先打开视觉中国官网:搜索张家界
安装惯例,我们要找到每一张图片对应的地址,那这么多要怎么找呢?我们可以按F12进入开发者模式,用鼠标点击旁边的标签,可以迅速找到对应的内容:
左边是标签对应的正文内容,右边是鼠标点击的标签,是不是很方便,我进一步看看具体的图片对应地址
不出意外,我们就能发现和找到每一张图片对应的地址了,就存在下面内容,img标签里面的data-src属性对应的内容就是图片的地址,我们复制这个地址,就可以开始下载爬取了
下面是爬取代码:
import requests
from bs4 import BeautifulSoup
url = 'http://goss4.cfp.cn/creative/vcg/nowarter800/version2/108311902.jpg'
r = requests.get(url)
with open('1.jpg', 'wb') as f:
f