我tmd 烦死了，没有数据集？不好意思，我要白嫖！

点击上方“AI算法与图像处理”，选择加"星标"或“置顶”

重磅干货，第一时间送达

推荐阅读31个Python实战项目教你掌握图像处理，PDF开放下载opencv_contrib扩展模块中文教程pdf，限时领取

上一篇我们讲到了如何白嫖一些免费的GPU

白嫖GPU，我们是认真的！

人工智能的发展离不开：数据、算法、算力 今天要分享的内容是关于数据如何获取 除了一些开源的数据集以及手动标注以外，我们是否还有其他办法获取呢？答案肯定是有的 我们可以利用一些平台提供的接口来白嫖数据集，来训练我们自己的模型，这样就变成我们的东西了，小机灵鬼，这是实际工作中非常有用。

当然要注意，调用这些平台的接口，实际上你的数据和标注数据也同样被平台获取了，如果是机密的数据，不建议这样子用。

本文以预测颜值的数据集获取为例，来进行分析

推荐项目：https://github.com/HCIILAB/SCUT-FBP5500-Database-Release （含数据集）

预测颜值可以看做是分类问题，也可以是回归问题。但无论是采用哪种方法去做，最基础的是要获取一张图片中人脸的位置信息 + 对应的颜值评分 

测试图片：

结果：

看上去好像很复杂，实际上这些都可以用一个json来存储 描述一下json的信息 指出人脸的坐标，颜值，年龄等信息

接下来就是如何通过这些平台开放的免费接口来白嫖了 以百度的为例

大致步骤：

1、注册

2、代码编写

今天我们以百度的API 为例，获取颜值评分等标注信息。

1、注册账号

首先需要去 百度云平台（当然也可以去其他开放平台）注册一个账号，并创建一个应用 具体如下： 

平台的地址：https://login.bce.baidu.com/?account=&redirect=http%3A%2F%2Fconsole.bce.baidu.com%2Fai%2F#/ai/roboticvision/overview/index

注册 & 应用创建说明：

http://www.atyun.com/35233.html

按照上述教程，创建应用之后，获取我们最关心的三个东西：

AppID、API Key、 Secret Key

接下来看一下我们可以白嫖的内容有哪些

可以白嫖的东西很多，包括文字识别、身份证识别、车票识别、以及我们今天要用的颜值预测（属于人脸属性分析这块） 具体链接：https://cloud.baidu.com/product/face/detect

不过这些都是有一定限制的，比如每日的调用次数，毕竟白嫖嘛，不能太嚣张了

查看可以调用的类型 具体网址：

https://console.bce.baidu.com/ai/?_=1611544091386#/ai/roboticvision/overview/index 

官方提供了一个在线上传获取结果的接口，但是对于我们来说，这远远不够。 

 

因此，我们需要一个脚本能够批量的获取这些数据。

2、代码实现

from time import sleep
from aip import AipFace
import cv2
import base64
import numpy as np
import os
import traceback
import json
import tqdm
##cv2转base64
def cv2_base64(image):
    base64_str = cv2.imencode('.jpg', image)[1].tobytes()
    base64_str = base64.b64encode(base64_str)
    return base64_str
##base64转cv2
def base64_cv2(base64_str):
    imgString = base64.b64decode(base64_str)
    nparr = np.fromstring(imgString, np.uint8)
    image = cv2.imdecode(nparr, cv2.IMREAD_COLOR)
    return image




""" 你的 APPID AK SK """ 
APP_ID = '*****'
API_KEY = '*****'
SECRET_KEY = '*****'


client = AipFace(APP_ID, API_KEY, SECRET_KEY)
imageType = "BASE64"
""" 如果有可选参数 """
options = {}
options["face_field"] = "age,beauty"
options["max_face_num"] = 2
options["face_type"] = "LIVE"
options["liveness_control"] = "LOW"


error_time = 0
def predict(img_path):
    """
    使用百度API 调用接口 返回人脸相关数据（年龄，颜值，矩形框位置等等）
    :param img_path: 图片路径
    :return:
    """
    result = {"error_code": -1}
    try:
        # opencv 方式读取 读取出来为numpy
        img_cv = cv2.imread(img_path)
        img_cv = A.SmallestMaxSize(256)(image=img_cv)["image"]
        # numpy -> base64 注意需要在最后加个 decode
        image = cv2_base64(img_cv).decode('utf-8')


        for i in range(3):
            """ 带参数调用人脸检测 """
            result = client.detect(image, imageType, options)


            error_code = result["error_code"]
            if error_code == 0 or error_code == 222202:
                return result
            sleep(1.0)
            print(f"the {i+1} try error!")
            print(img_path)
            print(result)
    except Exception as e:
        print(traceback.format_exc())
    return result


def write_label_json(label_json_path, result):
    """
    将json写入到指定的文件下
    :param label_json_path:写入的文件名称
    :param result: 字典
    :return:
    """
    with open(label_json_path, "w") as f:
        json.dump(result,f)


def write_log(log_path, msg):
    with open(log_path, "a+") as f:
        f.write(msg)




def make_label_json(root_path, img_path_name):
    """
    label制作
    :param root_path: 数据集存在的根目录
    :param img_path_name: 图片存在的目录名称
    :return:
    """
    img_root_path = os.path.join(root_path, img_path_name)
    img_name_ls = os.listdir(img_root_path)
    img_path_ls = [os.path.join(img_root_path, img_name) for img_name in img_name_ls]


    label_root_path = os.path.join(root_path, "label_json")
    if not os.path.exists(label_root_path):
        os.mkdir(label_root_path)
    log_path = os.path.join(root_path, "error_img.txt")
    write_log(log_path, "-----------------------------------\n")




    error_json_dir_path = os.path.join(root_path, "error_json")
    if not os.path.exists(error_json_dir_path):
        os.mkdir(error_json_dir_path)
    success_counts = 0
    for i, img_path in tqdm.tqdm(list(enumerate(img_path_ls))):
        result = predict(img_path)
        img_name = img_name_ls[i]
        name, ext = os.path.splitext(img_name)
        label_name = name + ".json"
        label_json_path = os.path.join(label_root_path, label_name)
        if result["error_code"] != 0:
            write_log(log_path, img_path + "\n")
            write_label_json(os.path.join(error_json_dir_path, label_name), result)
        else:
            success_counts += 1
            write_label_json(label_json_path, result)
        sleep(0.5)
        if i % 100 == 0:
            print("成功检测：", success_counts)
    print("成功检测：", success_counts)




root_path = "./"
img_path_name = "test"
make_label_json(root_path, img_path_name)

可能存在的问题：

# 1、no module named 'aip'
pip install baidu_aip
# 2、如果需要在vscode 中方便的查看 json文件， 可以考虑
# 安装json-tools
使用 ctrl + alt + m，切换显示风格

文件格式

将所有需要标注的图片，都放在 test 文件夹下

最终输出结果会报错在 error_json和 label_json 文件夹下

打开一个json文件看看里面的内容：

可以看到有我们需要的颜值信息（beauty），人脸位置、年龄信息等等

剩下的就是将获取的标注信息转换成模型需要的格式即

总结

是不是非常的实用

利用现有平台和工具生产我们所需要的东西，是非常重要的技能，如果对你有帮助，可以给我来三连！这是我周末加班写文章的动力！

个人微信（如果没有备注不拉群！）
请注明：地区+学校/企业+研究方向+昵称



下载1：何恺明顶会分享
在「AI算法与图像处理」公众号后台回复：何恺明，即可下载。总共有6份PDF，涉及 ResNet、Mask RCNN等经典工作的总结分析
下载2：终身受益的编程指南：Google编程风格指南
在「AI算法与图像处理」公众号后台回复：c++，即可下载。历经十年考验，最权威的编程规范！


下载3 CVPR2020


在「AI算法与图像处理」公众号后台回复：CVPR2020，即可下载1467篇CVPR 2020论文
觉得不错就点亮在看吧