百度EasyDate线上协同数据标注平台使用


EasyDate官网
本文以团队线上协同标注RoboMaster装甲板为例子

一、管理员部分

管理员负责建立数据集、建立标注团队、发布标注任务,管理员同时也可以是标注员

1.建立数据集

  1. 进入EasyDate官网,选择新建数据集
    在这里插入图片描述

  2. 选择数据类型和标注类型,填写数据集名称
    在这里插入图片描述

  3. 建立完成,导入数据
    在这里插入图片描述

  4. 支持多种导入方式
    在这里插入图片描述
    推荐使用华为OBS共享导入,本地导入会经常失败

  5. 导入成功
    在这里插入图片描述

2.建立标注团队

  1. 多人标注==>管理多人标注团队
    在这里插入图片描述
  2. 新建团队
    在这里插入图片描述
    确定名称和成员,邮箱务必填写正确,发布任务后成员邮箱会收到标注邀请信息在这里插入图片描述 3.

3.发布标注任务

  1. 创建多人标注任务
    在这里插入图片描述

  2. 确定好数据集和标注团队等
    在这里插入图片描述

  3. 发布成功
    在这里插入图片描述

4.(补充)数据扩增

1.标注前扩增

提供python代码,标注前扩增使用,每张图片可以扩增17倍
github仓库,欢迎star
Dataset_amplification

import cv2
import numpy as np
import os.path
import copy

# 椒盐噪声
def SaltAndPepper(src, percetage):
    SP_NoiseImg = src.copy()
    SP_NoiseNum = int(percetage * src.shape[0] * src.shape[1])
    for i in range(SP_NoiseNum):
        randR = np.random.randint(0, src.shape[0] - 1)
        randG = np.random.randint(0, src.shape[1] - 1)
        randB = np.random.randint(0, 3)
        if np.random.randint(0, 1) == 0:
            SP_NoiseImg[randR, randG, randB] = 0
        else:
            SP_NoiseImg[randR, randG, randB] = 255
    return SP_NoiseImg

# 高斯噪声
def addGaussianNoise(image, percetage):
    G_Noiseimg = image.copy()
    w = image.shape[1]
    h = image.shape[0]
    G_NoiseNum = int(percetage * image.shape[0] * image.shape[1])
    for i in range(G_NoiseNum):
        temp_x = np.random.randint(0, h)
        temp_y = np.random.randint(0, w)
        G_Noiseimg[temp_x][temp_y][np.random.randint(3)] = np.random.randn(1)[0]
    return G_Noiseimg

# 昏暗
def darker(image, percetage=0.9):
    image_copy = image.copy()
    w = image.shape[1]
    h = image.shape[0]
    # get darker
    for xi in range(0, w):
        for xj in range(0, h):
            image_copy[xj, xi, 0] = int(image[xj, xi, 0] * percetage)
            image_copy[xj, xi, 1] = int(image[xj, xi, 1] * percetage)
            image_copy[xj, xi, 2] = int(image[xj, xi, 2] * percetage)
    return image_copy

# 亮度
def brighter(image, percetage=1.5):
    image_copy = image.copy()
    w = image.shape[1]
    h = image.shape[0]
    # get brighter
    for xi in range(0, w):
        for xj in range(0, h):
            image_copy[xj, xi, 0] = np.clip(int(image[xj, xi, 0] * percetage), a_max=255, a_min=0)
            image_copy[xj, xi, 1] = np.clip(int(image[xj, xi, 1] * percetage), a_max=255, a_min=0)
            image_copy[xj, xi, 2] = np.clip(int(image[xj, xi, 2] * percetage), a_max=255, a_min=0)
    return image_copy

# 旋转
def rotate(image, angle, center=None, scale=1.0):
    (h, w) = image.shape[:2]
    # If no rotation center is specified, the center of the image is set as the rotation center
    if center is None:
        center = (w / 2, h / 2)
    m = cv2.getRotationMatrix2D(center, angle, scale)
    rotated = cv2.warpAffine(image, m, (w, h))
    return rotated

# 翻转
def flip(image):
    flipped_image = np.fliplr(image)
    return flipped_image

# 更改为自己图片文件夹路径,扩增后数据集会输入到同个文件夹下
file_dir = r'C:/Users/Quinton/Desktop/sentry/'
for img_name in os.listdir(file_dir):
    img_path = file_dir + img_name
    img = cv2.imread(img_path)
    rotated_90 = rotate(img, 90)
    cv2.imwrite(file_dir + img_name[0:-4] + '_r90.jpg', rotated_90)
    rotated_180 = rotate(img, 180)
    cv2.imwrite(file_dir + img_name[0:-4] + '_r180.jpg', rotated_180)

for img_name in os.listdir(file_dir):
    img_path = file_dir + img_name
    img = cv2.imread(img_path)
    # 镜像
    flipped_img = flip(img)
    cv2.imwrite(file_dir + img_name[0:-4] + '_fli.jpg', flipped_img)

    # 增加噪声
    img_gauss = addGaussianNoise(img, 0.3)
    cv2.imwrite(file_dir + img_name[0:-4] + '_noise.jpg', img_gauss)

    # 变亮、变暗
    img_darker = darker(img)
    cv2.imwrite(file_dir + img_name[0:-4] + '_darker.jpg', img_darker)
    img_brighter = brighter(img)
    cv2.imwrite(file_dir + img_name[0:-4] + '_brighter.jpg', img_brighter)
  
    # cv2.GaussianBlur(图像,卷积核,标准差)
    blur = cv2.GaussianBlur(img, (7, 7), 1.5)
    cv2.imwrite(file_dir + img_name[0:-4] + '_blur.jpg', blur)

2.标注后扩增

可以使用此仓库代码,标注格式为xml
Dataset-Augment

二、标注员部分

1.进入标注

团队中标注员会收到邮件,管理员务必填写正确邮箱

1.进入邮箱,点击查看
在这里插入图片描述
2.启动标注请添加图片描述

2.标注注意

以标注装甲板为例,提出标注注意事项

1.标注标签格式

按照如下格式进行标注
请添加图片描述
例如:红方英雄1号装甲板,标注的标签是8请添加图片描述
蓝方哨兵机器人,就是选择0号标签
请添加图片描述
一定要注意红方的标注,极易出现错误!!!

2.快捷选项

方向键右键可下一张图片
请添加图片描述
并且会自动保存标注
在这里插入图片描述

3.暂停标注

不要点击提交任务,达咩
请添加图片描述
可以直接关闭网页,再次从邮箱邀请进入选择继续标注
请添加图片描述

4.注意框的大小

标注时,框不要太大也不要太小,尽量匹配装甲板
请添加图片描述


  • 1
    点赞
  • 19
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
在Spark中使用数据库数据进行协同过滤,需要以下步骤: 1. 将数据库中的数据导入到Spark中,可以使用JDBC连接器或者其他工具实现。 2. 对数据进行预处理,包括数据清洗、转换格式等操作。 3. 构建一个Spark DataFrame或RDD,用于存储和处理数据。 4. 使用Spark MLlib中的协同过滤算法,如ALS(交替最小二乘法)算法,构建一个推荐模型。 5. 使用推荐模型对数据进行预测和推荐。 具体实现过程可以参考以下代码: ```python # 导入必要的库 from pyspark.sql import SparkSession from pyspark.ml.recommendation import ALS from pyspark.ml.evaluation import RegressionEvaluator # 创建Spark Session spark = SparkSession.builder.appName("Collaborative Filtering with Database Data").getOrCreate() # 从数据库中读取数据 jdbc_url = "jdbc:mysql://localhost:3306/database_name" table_name = "table_name" user = "user_name" password = "password" df = spark.read.format("jdbc").option("url", jdbc_url).option("dbtable", table_name).option("user", user).option("password", password).load() # 数据预处理 df = df.drop("unnecessary_column") df = df.withColumnRenamed("column_name", "user") df = df.withColumnRenamed("column_name", "item") df = df.withColumnRenamed("column_name", "rating") df = df.select("user", "item", "rating") # 构建DataFrame (training, testing) = df.randomSplit([0.8, 0.2]) # 构建ALS模型 als = ALS(maxIter=5, regParam=0.01, userCol="user", itemCol="item", ratingCol="rating", coldStartStrategy="drop") model = als.fit(training) # 对测试数据进行预测 predictions = model.transform(testing) # 评估模型 evaluator = RegressionEvaluator(metricName="rmse", labelCol="rating", predictionCol="prediction") rmse = evaluator.evaluate(predictions) print("Root-mean-square error = " + str(rmse)) # 对用户进行推荐 userRecs = model.recommendForAllUsers(10) ``` 以上代码实现了从数据库中读取数据,并使用ALS算法构建了一个推荐模型,最后对用户进行了推荐。具体实现需要根据具体场景进行调整和优化。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Quinton123

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值