Python 批量下载图片
要批量下载图片,首先的有个图片的地址,要批量下载,那么就得解析网页,自动获取图片的地址,一页的图片总是不够的,所以需要翻页。
下载图片
下载图片就要用到网络库,用的是 request
- 创建requests,注意开启stream
- 因为图片都比较大,用流的方式保存图片
r = requests.get(url, stream=True)
filename = os.path.join(base_path, str(index)+".jpg")
with open(filename, 'wb') as fd:
for chunk in r.iter_content(1024):
fd.write(chunk)
解析图片url
现在网页都是用js来加载内容,所以抓取的静态网页是没有图片的。所以需要等js加载完内容才能去获取图片。
比较简单的方法使用浏览器来模拟,找到Python的selenium库。
简单介绍下安装selenium库。
1.使用pip
pip3 install -U selenium
但是一直失败,无奈使用源码安装
从 selenium clone 下来
运行 python3 setup.py install
3.使用的chrome,的下载连接chrome的驱动
chromedriver
4.就可以用chrome来加载网页了
web = webdriver.Chrome("path/chromedriver"))
web.get("http://pp.163.com/pp/#p=10&c=-1&m=3&page=1")
web.find_elements_by_css_selector("a.img.js-anchor.etag.noul")
分页
这个就是找到下一按钮,在点击
next = web.find_element_by_css_selector("span.pgi.pgb.pgbright.iblock")
next.click()
完整代码在github