循环爬取图片_如何创建自己的图片库？写个Python爬虫来搞定-CSDN博客

本文链接：https://blog.csdn.net/weixin_29474217/article/details/112670778

爬取图片

http://www.ivsky.com 这个网站上有很多壁纸，动漫类型的图片都挺好看，本文练习用 Python 爬取这些图片并存储到本地。

实现过程

1.站点分析
点开这个站点，选择动漫壁纸，开发者模式下，定位到图片区域所在的 ul ，可以看到选择特征是 class="ali"。同时 “下一页” 按钮里面是下一页的 URL 全路径，样式为 class="next-page"。有了这两项信息，就能爬取完整的动漫图片了。

2.代码编写
流程主要分为两步：
第一步：解析 img 标签的 src 属性，请求图片，存储文件到本地；
第二步：解析下一页的链接。

循环爬取，直到解析不到下一页链接为止，代码为：

import requestsfrom bs4 import BeautifulSoupimport os#爬取 url 对应的 html 内容def getHtmlOfUrl(url):try:r=requests.get(url)r.raise_for_status()r.encoding=r.apparent_encodingreturn r.textexcept:return ""#获取页面的img 图片并保存到本地def getPic(html):soup = BeautifulSoup(html,'html.parser')all_img = soup.find('ul',class_='ali').find_all('img')#解析下一页的 URL 地址next_page = soup.find('a',class_='page-next')next_page_url = ''try:next_page_url = next_page['href']except:print('解析下一页 URL失败')#遍历保存当前页面的图片for img in all_img:src = img['src']img_url = src#保存图片到本地，获取 / 以后的最后一部分的文件名path = "./image/"+img_url.split('/')[-1]try:if not os.path.exists(path):r = requests.get("https:"+img_url)with open(path,'wb') as f:f.write(r.content)f.close()print('文件保存成功')else:print('文件已存在')except:print('爬取失败')#返回下一页连接 return next_page_url#主流程def main():    ##域名，需要拼接到下一页 URL 中domain = "https://www.ivsky.com"#首页处理firstPage = "https://www.ivsky.com/bizhi/dongman/";html = getHtmlOfUrl(firstPage)nextPageUrl = getPic(html)        #循环爬墙下一页while(nextPageUrl != ''):nextPageUrl=domain+nextPageUrlprint("爬取下一页的数据",nextPageUrl)html = getHtmlOfUrl(nextPageUrl)nextPageUrl = getPic(html)#img 位于 class="all" 的 ul 中#爬取动漫图片地址：https://www.ivsky.com/bizhi/dongman/#下一页连接

3.运行结果