python爬虫实战之图片

【导读】记录学习爬虫的过程
【主题】Python爬虫之图片原理
【分析】
1.先进行目标网站分析
2.再用BeautifulSoup进行解析网页
3.进行图片存储
【注意】
代码要层次分明，简洁明要，尽量多用print查看数据对错。
【代码】

import requests
import os 
from bs4 import BeautifulSoup


def get_images_url():
    url="https://www.doutula.com/article/detail/3526269" #目标网页进行复制
    return requests.get(url).text       #进行网页的源码爬取
    
#进行图片搜索
def get_images_urls(html_text):
    #进行图片链接存储
    urls=[]
    soup=BeautifulSoup(html_text,'html.parser')     #用BeautifulSoup的解析器 html.paser
    div_tag=soup.find('div',{'class':'pic-content'})    #选取目标图片的位置
    img_tag_list=div_tag.find_all('img')    #提取img标签
    for img_tag in img_tag_list:
        url=img_tag.attrs['src']    #提取所有img标签中的src地址
        urls.append(url)
    return urls
    
def save_images(dir,urls):
    if not os.path.exists(dir):     #进行判断文件是否存在
        os.makedirs(dir)
    count=1
    for url in urls:
        print("正在下载第{}张图片。。。".format(str(count))) #记数
        ext=url.split('.')[-1]  #获取扩展名
        filename = dir +'/'+str(count)+'.'+ext #图片的存储路径
        content=requests.get(url).content   #进行
        with open(filename,'wb') as f:
            f.write(content)
        count+=1


if __name__=='__main__':
    html_text=get_images_url()
    image_urls=get_images_urls(html_text)
    save_images('./images',image_urls)

目标分析
以下是我对此代码简要分析
首先按F12

这个是我们的目标网站 https://www.doutula.com/article/detail/3526269

这个图片我们得到了图片所存在的div标签里一般学过前端应该知道 小白的话可以通过百度搜索一下这些标签
所以在这句话我们就定位到所在的地点 class=“pic-content”
然后再用到python的find_all寻找img标签

soup=BeautifulSoup(html_text,'html.parser')     #用BeautifulSoup的解析器 html.paser
div_tag=soup.find('div',{'class':'pic-content'})    #选取目标图片的位置
img_tag_list=div_tag.find_all('img')    #提取img标签

存储阶段

def save_images(dir,urls):
    if not os.path.exists(dir):     #进行判断文件是否存在
        os.makedirs(dir)
    count=1
    for url in urls:
        print("正在下载第{}张图片。。。".format(str(count))) #记数
        ext=url.split('.')[-1]  #获取扩展名
        filename = dir +'/'+str(count)+'.'+ext #图片的存储路径
        content=requests.get(url).content   #进行数据转换
        with open(filename,'wb') as f:
            f.write(content)
        count+=1

有c语言基础的小伙伴应该知道path.exists这个 它就是判断文件存在于否没有存在就执行下面语句创建文件
count是简单的记数
content=requests.get(url).content 这句是进行数据转换的
下面的 f.write(content)就是写入啦。
今天就学到这了 明朝见。
人生苦短 我用python