数据获取---最简单的图片爬虫

首先确定爬取某个网站图片是否侵权

本文旨在简单的了解爬虫原理，实现一个最简单的图片爬虫案例

以慕课网上的为例

https://class.imooc/?c=ios&mc_marking=286b51b2a8e40915ea9023c8218

在chrome里输入网址，然后打开更多工具里的开发者工具查看网页源代码，查看其中一个标签，通过标签可以找到当前图片的url地址，通过url地址就可以把这张图片下载下来。

<img src="//img1.sycdn.imooc.com/climg/58f6cbdb00015e3006000338.jpg">

爬取图片需要的简单几步:
(1)url
(2)获取html网页的src
(3)找到img
(4)通过图片的url来下载图片

示例代码

import urllib
import urllib3
import os
from bs4 import BeautifulSoup

html = urllib.request.urlopen('https://class.imooc/?c=ios&mc_marking=286b51b2a8e40915ea9023c8218').read()
#加载url，网页请求方法,获取当前网页内容

soup = BeautifulSoup(html,'html.parser',from_encoding='utf-8')
#解析url返回的数据，第一个参数是html整个页面，第二个参数是html.parser方法，第三个参数是数据编码类型

images = soup.findAll('img')
#获取所有img标签

imageName = 0
#存储当前图片的名称

#利用for循环遍历所有图片
for image in images:
    link = image.get('src') #通过src获取url网址
    link = 'http:'+link #link获取的网址不完整，再加上http
    fileFormat = link[-3:] #获取最后三个字符类型
    if fileFormat == 'png' or fileFormat == 'jpg': #过滤非png/jpg格式的图片
        fileSavePath = ''+str(imageName)+'.jpg' #图片保存的路径
        imageName = imageName+1
        urllib.request.urlretrieve(link,fileSavePath)