百度AIStudio-Python小白逆袭大神-Day4-PaddleHub之《青春有你2》作业：五人识别

---

大家好，我是EverdayForCode。你，今天学习了吗？

要求

1. 自己准备数据集
2. 完成《青春有你2》前五名照片识别

• 虞书欣
• 许佳琪
• 赵小棠
• 安崎
• 王承渲

本地操作

爬取五位选手的图片

import json
import re
import requests
import datetime
from bs4 import BeautifulSoup
import os

# 获取当天的日期,并进行格式化,用于后面文件命名，格式:20200420
today = datetime.date.today().strftime('%Y%m%d')


# %%
def crawl_wiki_data(url):
    """
    爬取必应图片
    """
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:75.0) Gecko/20100101 Firefox/75.0'
    }
    url = url

    try:
        response = requests.get(url, headers=headers)
        print(response.status_code)
        html = response.content
        # 将一段文档传入BeautifulSoup的构造方法,就能得到一个文档的对象, 可以传入一段字符串
        soup = BeautifulSoup(html, 'lxml')

        title = soup.find_all('title')
        title = str(title).replace('<title>', '')
        title = title.replace('[', '')
        str_temp = title.split('-')
        name = str_temp[0][:-1]
        imgs = soup.find_all('img', {'class': 'mimg vimgld'})
        # print(imgs)

        srcs = []
        count  = 0
        for img in imgs:
            src = img.get('data-src')
            if src is not None:
                star = {'link': src, 'name': name}
                # print(src)
                srcs.append(star)
                count += 1
            if count > 55:
                break

        return srcs
    except Exception as e:
        print(e)


# %%
# srcs = crawl_wiki_data('https://cn.bing.com/images/search?q=%E8%99%9E%E4%B9%A6%E6%AC%A3&form=HDRSC2&first=1&cw=1519&ch=258')
# print(srcs)
# %%
def parse_wiki_data(srcs=[]):
    '''
    ，存JSON文件,保存到work目录下
    '''
    json_data = json.loads(str(srcs).replace("\'", "\""))
    with open('work/' + today + '.json', 'w', encoding='UTF-8') as f:
        json.dump(json_data, f, ensure_ascii=False)


# %%
# 测试
# srcs = crawl_wiki_data(
#     'https://cn.bing.com/images/search?q=%E8%99%9E%E4%B9%A6%E6%AC%A3&form=HDRSC2&first=1&cw=1519&ch=258')
# parse_wiki_data(srcs)


# %%
def crawl_pic_urls():
    '''
    爬取每个选手的图片，并保存
    '''
    with open('work/' + today + '.json', 'r', encoding='UTF-8') as file:
        json_array = json.loads(file.read())

    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:75.0) Gecko/20100101 Firefox/75.0'
    }
    count = 0
    for star in json_array:
        name = star['name']
        link = star['link']
        # ！！！根据图片链接列表pic_urls, 下载所有图片，保存在以name命名的文件夹中！！！
        down_pic(name, link, count)
        count += 1


# %%
# 下载图片
def down_pic(name, link, i):
    '''
    根据图片链接列表pic_urls, 下载所有图片，保存在以name命名的文件夹中,
    '''
    path = 'work/' + 'pics/' + name + '/'
    if not os.path.exists(path):
        os.makedirs(path)

    try:
        pic = requests.get(link, timeout=15)
        string = str(i + 1) + '.jpg'
        with open(path + string, 'wb') as f:
            f.write(pic.content)
            print('成功下载第%s张图片: %s' % (str(i + 1), str(link)))
    except Exception as e:
        print('下载第%s张图片时失败: %s' % (str(i + 1), str(link)))
        print(e)


# %%
def show_pic_path(path):
    '''
    遍历所爬取的每张图片，并打印所有图片的绝对路径
    '''
    pic_num = 0
    for (dirpath, dirnames, filenames) in os.walk(path):
        for filename in filenames:
            pic_num += 1
            print("第%d张照片：%s" % (pic_num, os.path.join(dirpath, filename)))
    print("共爬取《青春有你2》前五名选手的%d照片" % pic_num)


# %%
# 测试
url_list = [
    'https://cn.bing.com/images/search?q=%E8%99%9E%E4%B9%A6%E6%AC%A3&form=HDRSC2&first=1&cw=1519&ch=258',
    'https://cn.bing.com/images/search?q=%E8%AE%B8%E4%BD%B3%E7%90%AA&go=%E6%90%9C%E7%B4%A2&qs=ds&form=QBIR&first=1',
    'https://cn.bing.com/images/search?q=%E7%8E%8B%E6%89%BF%E6%B8%B2&qs=n&form=QBIRMH&sp=-1&pq=%E7%8E%8B%E6%89%BF%E6%B8%B2&sc=0-3&sk=&cvid=32CFFC40D3E843FF831F1EBEDE9C0DA1',
    'https://cn.bing.com/images/search?q=%E8%B5%B5%E5%B0%8F%E6%A3%A0&qs=n&form=QBIR&sp=-1&pq=%E8%B5%B5%E5%B0%8F%E6%A3%A0&sc=2-3&sk=&cvid=8817542052FD499595F1B95F279526EF'

]
srcs = []
for url in url_list:
    src_list = crawl_wiki_data(url)
    srcs.extend(src_list)
parse_wiki_data(srcs)
crawl_pic_urls()
show_pic_path('work')

由于必应图片几乎是动态加载，EverdayForCode爬虫很菜，每一个选手只获取了20几张图片（安琦一张没有爬取，应为安琦的照片大多是和其他人的合照，后续手动下载）
每个选手20几张图片做训练是远远不够的，因此需要使用数据增强

PIL处理图片实现数增强

import os
from PIL import Image
from PIL import ImageEnhance

#%%
# 上下左右旋转图片
def Rotate_pic_up_down_bri(path):
    for (dirpath, dirnames, filenames) in os.walk(path):
        for filename in filenames:
            img_path = os.path.join(dirpath, filename)
            print(img_path)
            # 打开图片
            img = Image.open(img_path)
            img = img.convert('RGB')
            # 左右镜像
            img_lr = img.transpose(Image.FLIP_LEFT_RIGHT)
            #写入图片
            w_path = 'img_e/'+path+'/'
            if not os.path.exists(w_path):
                os.makedirs(w_path)
            string = filename.replace('.jpg','_lr.jpg')
            img_lr.save(w_path+string)

            # 上下镜像
            img_bt = img.transpose(Image.FLIP_TOP_BOTTOM)
            string = filename.replace('.jpg', '_bt.jpg')
            img_bt.save(w_path + string)

            # 增强亮度
            # 增强亮度
            enh_bri = ImageEnhance.Brightness(img)
            brightness = 1.5
            img_bri = enh_bri.enhance(brightness)
            string = filename.replace('.jpg', '_bri.jpg')
            img_bri.save(w_path + string)
#%%
Rotate_pic_up_down_bri('img/anqi')
Rotate_pic_up_down_bri('img/wangchengxuan')
Rotate_pic_up_down_bri('img/xujiaqi')
Rotate_pic_up_down_bri('img/yushuxin')
Rotate_pic_up_down_bri('img/zhaoxiaotang')

使用PIL实现了图片的上下旋转、左右旋转、亮度增强

将图片地址和标记写入文件

由于是使用PaddleHub里面的模型，因此自定义数据需要遵守相应的数据规范，详见：

数据规范

AIStudio平台操作

上传数据集

在本地做好数据及集，上传至AIStudion

AIStudio代码

#CPU环境启动请务必执行该指令
%set_env CPU_NUM=1 
#安装paddlehub
!pip install paddlehub==1.6.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
# 解压数据集
!unzip -o /home/aistudio/data/img.zip -d ./dataset/img
# 遍历图集写入自定义数据
import os
def writeText(path,label):
    for (dirpath, dirnames, filenames) in os.walk(path):
        i = 1
        for filename in filenames:
            img_path = os.path.join(dirpath, filename)
            # print(img_path)
            tra_f = open('/home/aistudio/dataset/train_list.txt','a')
            tes_f = open('/home/aistudio/dataset/test_list.txt','a')
            val_f = open('/home/aistudio/dataset/validate_list.txt','a')
            string = img_path + ' ' + str(label) + '\n'
            if 1 <= i % 10 <= 8:
                tra_f.write(string)
            elif i % 10 == 9:
                tes_f.write(string)
            else:
                val_f.write(string)
            i += 1
    tra_f.close()
    tes_f.close()
    val_f.close()
# 写入数据并查看    
writeText('/home/aistudio/dataset/img/wangchengxuan',4)
writeText('/home/aistudio/dataset/img/zhaoxiaotang',2)
writeText('/home/aistudio/dataset/img/xujiaqi',1)
writeText('/home/aistudio/dataset/img/yushuxin',0)
writeText('/home/aistudio/dataset/img/anqi',3)
!cat /home/aistudio/dataset/train_list.txt
!cat /home/aistudio/dataset/test_list.txt
!cat /home/aistudio/dataset/validate_list.txt
'''
Step2、加载预训练模型
接下来我们要在PaddleHub中选择合适的预训练模型来Finetune，由于是图像分类任务，因此我们使用经典的ResNet-50作为预训练模型。PaddleHub提供了丰富的图像分类预训练模型，包括了最新的神经网络架构搜索类的PNASNet，我们推荐您尝试不同的预训练模型来获得更好的性能。
'''
import paddlehub as hub
module = hub.Module(name="resnet_v2_50_imagenet")
'''
Step3、数据准备

接着需要加载图片数据集。我们使用自定义的数据进行体验，请查看适配自定义数据

'''
from paddlehub.dataset.base_cv_dataset import BaseCVDataset
   
class DemoDataset(BaseCVDataset):	
   def __init__(self):	
       # 数据集存放位置
       
       self.dataset_dir = "dataset"
       super(DemoDataset, self).__init__(
           base_path=self.dataset_dir,
           train_list_file="train_list.txt",
           validate_list_file="validate_list.txt",
           test_list_file="test_list.txt",
           label_list_file="label_list.txt",
           )
dataset = DemoDataset()
'''
Step4、生成数据读取器

接着生成一个图像分类的reader，reader负责将dataset的数据进行预处理，接着以特定格式组织并输入给模型进行训练。

当我们生成一个图像分类的reader时，需要指定输入图片的大小

'''
data_reader = hub.reader.ImageClassificationReader(
    image_width=module.get_expected_image_width(),
    image_height=module.get_expected_image_height(),
    images_mean=module.get_pretrained_images_mean(),
    images_std=module.get_pretrained_images_std(),
    dataset=dataset)
'''
Step5、配置策略

在进行Finetune前，我们可以设置一些运行时的配置，例如如下代码中的配置，表示：

    use_cuda：设置为False表示使用CPU进行训练。如果您本机支持GPU，且安装的是GPU版本的PaddlePaddle，我们建议您将这个选项设置为True；

    epoch：迭代轮数；

    batch_size：每次训练的时候，给模型输入的每批数据大小为32，模型训练时能够并行处理批数据，因此batch_size越大，训练的效率越高，但是同时带来了内存的负荷，过大的batch_size可能导致内存不足而无法训练，因此选择一个合适的batch_size是很重要的一步；

    log_interval：每隔10 step打印一次训练日志；

    eval_interval：每隔50 step在验证集上进行一次性能评估；

    checkpoint_dir：将训练的参数和数据保存到cv_finetune_turtorial_demo目录中；

    strategy：使用DefaultFinetuneStrategy策略进行finetune；

更多运行配置，请查看RunConfig

同时PaddleHub提供了许多优化策略，如AdamWeightDecayStrategy、ULMFiTStrategy、DefaultFinetuneStrategy等，详细信息参见策略

'''
config = hub.RunConfig(
    use_cuda=False,                              #是否使用GPU训练，默认为False；
    num_epoch=3,                                #Fine-tune的轮数；
    checkpoint_dir="cv_finetune_turtorial_demo",#模型checkpoint保存路径, 若用户没有指定，程序会自动生成；
    batch_size=1,                              #训练的批大小，如果使用GPU，请根据实际情况调整batch_size；
    eval_interval=10,                           #模型评估的间隔，默认每100个step评估一次验证集；
    strategy=hub.finetune.strategy.DefaultFinetuneStrategy())  #Fine-tune优化策略；
'''
Step6、组建Finetune Task

有了合适的预训练模型和准备要迁移的数据集后，我们开始组建一个Task。

由于该数据设置是一个二分类的任务，而我们下载的分类module是在ImageNet数据集上训练的千分类模型，所以我们需要对模型进行简单的微调，把模型改造为一个二分类模型：

    获取module的上下文环境，包括输入和输出的变量，以及Paddle Program；
    从输出变量中找到特征图提取层feature_map；
    在feature_map后面接入一个全连接层，生成Task；


'''
input_dict, output_dict, program = module.context(trainable=True)
img = input_dict["image"]
feature_map = output_dict["feature_map"]
feed_list = [img.name]

task = hub.ImageClassifierTask(
    data_reader=data_reader,
    feed_list=feed_list,
    feature=feature_map,
    num_classes=dataset.num_labels,
    config=config)
 '''
 Step5、开始Finetune

我们选择finetune_and_eval接口来进行模型训练，这个接口在finetune的过程中，会周期性的进行模型效果的评估，以便我们了解整个训练过程的性能变化。

 '''
 run_states = task.finetune_and_eval()
 '''
 Step6、预测

当Finetune完成后，我们使用模型来进行预测，先通过以下命令来获取测试的图片
'''
import numpy as np
import matplotlib.pyplot as plt 
import matplotlib.image as mpimg
# 生成测试文件
import os
for (dirpath, dirnames, filenames) in os.walk('/home/aistudio/dataset/test'):
    i = 0
    pics_f = open('/home/aistudio/dataset/test/test_pics.txt','w')
    for filename in filenames:
        img_path = os.path.join(dirpath, filename)
        string = img_path + ' ' + str(i) + '\n'
        pics_f.write(string)
        i += 1
pics_f.close()
f = open('/home/aistudio/dataset/test/test_pics.txt','r')
filepath = f.readlines()
data = [filepath[0].split(" ")[0],filepath[1].split(" ")[0],filepath[2].split(" ")[0],filepath[3].split(" ")[0],filepath[4].split(" ")[0]]
f.close()
print(data)

label_map = dataset.label_dict()
index = 0
run_states = task.predict(data=data)
results = [run_state.run_results for run_state in run_states]

for batch_result in results:
    print(batch_result)
    batch_result = np.argmax(batch_result, axis=2)[0]
    print(batch_result)
    for result in batch_result:
        index += 1
        result = label_map[result]
        print("input %i is %s, and the predict result is %s" %
              (index, data[index - 1], result))

---

代码到这里就结束了

识别结果

由结果可知，60%的正确率，太低了。
可能是数据集的太小的缘故，也可能是参数配置不对。
明天再调试。拜拜！

写在后面：你只要在努力，就没有辜负时光
三天前就已经开营，拖到现在才写一篇博客，是我太懒。

---

隔天更新

时隔一天后，模型终于能够识别这五张图，狂喜！
今天上午，我尝试过更改数据。把爬取的图片做了裁剪，见剩下演员的脸部。就像这样：

就剩下个大脑袋，其余部分都裁剪了。
实验发现：
测试图片具有身体部分，因此脸部的特征不够突出，而训练用的图片基本都是脸部特征，训练出来的模型识别率极低。

策略配置

这是最后模型微调前的策略配置：
昨天配置的策略轮数是：

num_epoch = 5

昨天模型应该是过拟合。

---

下面是本地图片爬取与图像数据增强

点击这里