【Sapphire开发日志 四】数据集维护、数据上传和结果下载

已于 2024-06-24 10:12:24 修改
阅读量254 收藏 4
点赞数 1
分类专栏： 山大软院2021级项目实训 文章标签： embedding
于 2024-05-30 19:57:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40068267/article/details/139332752
版权

需求分析

数据集的相关操作是Sapphire的重要功能之一，用户通过创建和维护数据集的信息开展标注工作，因此数据集的创建、编辑以及标注数据的上传是重要的功能。

基本业务

基本业务包括数据集的创建、编辑以及若干查询接口。

数据集创建

在数据集创建过程中，我们需要处理用户输入的数据并将其存储到数据库中。以下是代码的详细解释：

// CreateDataset 创建数据集
func (d *Dataset) CreateDataset(creatorId uint, dto dto.NewDataset) (*Dataset, error) {
	// 创建数据集记录
	datasetInfo := &Dataset{
		Name:        dto.Name,
		CreatorID:   creatorId,
		Description: dto.Description,
		Cover:       dto.Cover,
	}

	// 处理结束时间
	scheduleTime := time.Now()
	if dto.EndTime != "" {
		scheduleTime, _ = time.Parse("2006-01-02 15:04:05", dto.EndTime)
	}
	datasetInfo.EndTime = scheduleTime

	// 添加标注tag的记录
	tags := dto.Tags
	tagStr := ""
	for _, tag := range tags {
		tagStr += tag + ","
	}
	datasetInfo.Tags = tagStr

	// 将数据集信息保存到数据库
	err := dao.Save(datasetInfo)
	if err != nil {
		return nil, err
	}

	// 发送创建成功的消息
	content := fmt.Sprintf("您已成功创建数据集 %s", datasetInfo.Name)
	messageDomain.SendMessage(content, "创建数据集", MessageTypeTREND, creatorId)
	return datasetInfo, nil
}
代码分析：
  1. 创建数据集记录：从输入的dto中提取数据集的名称、描述、封面图等信息，并创建一个新的Dataset对象。
  2. 处理结束时间：如果用户提供了结束时间，则将其解析为时间对象，否则使用当前时间。
  3. 处理标签：将标签数组转换为逗号分隔的字符串。
  4. 保存数据集：将数据集信息保存到数据库中。
  5. 发送消息：通知用户数据集创建成功。

信息修改

数据集的修改功能允许用户更新已有的数据集信息。以下是代码的详细解释：

func (d *Dataset) UpdateDataset(creatorID uint, id uint, dto dto.NewDataset) (*Dataset, error) {
	var err error
	// 获取数据集
	dataset, err := d.GetDatasetByID(id)
	if err != nil {
		return nil, err
	}
	if dataset == nil {
		return nil, fmt.Errorf("dataset not found")
	}

	// 检查权限
	if creatorID != dataset.CreatorID {
		return nil, fmt.Errorf("no permission")
	}

	// 更新数据集信息
	dataset.Name = dto.Name
	dataset.Description = dto.Description
	dataset.Cover = dto.Cover
	dataset.EndTime, _ = time.Parse("2006-01-02 15:04:05", dto.EndTime)
	tagStr := ""
	for _, tag := range dto.Tags {
		tagStr += tag + ","
	}
	dataset.Tags = tagStr

	// 保存更新后的数据集
	err = dao.Save(dataset)
	if err != nil {
		return nil, err
	}

	return dataset, err
}
代码分析：
  1. 获取数据集：通过ID获取数据集，如果找不到则返回错误。
  2. 检查权限：确保只有数据集的创建者才能修改数据集。
  3. 更新数据集信息：从输入的dto中提取新的数据集信息并更新现有数据集对象。
  4. 保存数据集：将更新后的数据集保存到数据库中。

删除数据集

删除数据集的功能允许用户移除不再需要的数据集。以下是代码的详细解释：

// DeleteDataset 删除数据集
func (d *Dataset) DeleteDataset() error {
	err := dao.Delete(d)
	if err != nil {
		return err
	}
	return nil
}

// GetDatasetByID 根据 ID 获取数据集
func (d *Dataset) GetDatasetByID(id uint) (*Dataset, error) {
	res, err := dao.First[Dataset]("id = ?", id)
	if err != nil {
		return nil, err
	}
	return res, nil
}
代码分析：
  1. 删除数据集：调用DAO层的删除方法从数据库中删除数据集。
  2. 获取数据集：通过ID获取数据集，便于在删除前进行验证或其他操作。

查询接口

提供了多个查询接口，方便用户根据不同的条件查询数据集。以下是代码的详细解释：

// GetDatasetList 获取数据集列表
func (d *Dataset) GetDatasetList() ([]Dataset, error) {
	res, err := dao.FindAll[Dataset]()
	if err != nil {
		return nil, err
	}
	return res, nil
}

// ListByKeywords 根据关键字列出数据集
func (d *Dataset) ListByKeywords(keywords []string) ([]Dataset, error) {
	sql := "select * from datasets where name like ?"
	for i := 1; i < len(keywords); i++ {
		sql += " and name like ?"
	}
	res, err := dao.Query[Dataset](sql, keywords[0])
	if err != nil {
		return nil, err
	}
	return res, nil
}

// ListAllDataset 列出所有记录
func (d *Dataset) ListAllDataset() ([]Dataset, error) {
	res, err := dao.FindAll[Dataset]()
	if err != nil {
		return nil, err
	}
	return res, nil
}

// ListUserJoinedDatasetList 列出用户加入的数据集
func (d *Dataset) ListUserJoinedDatasetList(userID uint) ([]Dataset, error) {
	sql := "select * from datasets where id in (select dataset_id from dataset_users where user_id = ?) and creator_id != ?"
	res, err := dao.Query[Dataset](sql, userID, userID)
	if err != nil {
		return nil, err
	}
	return res, nil
}

// ListUserCreatedDatasets 列出用户创建的数据集
func (d *Dataset) ListUserCreatedDatasets(createdID uint) ([]Dataset, error) {
	res, err := dao.FindAll[Dataset]("creator_id = ?", createdID)
	if err != nil {
		return nil, err
	}
	return res, nil
}
代码分析：
  1. 获取数据集列表：从数据库中获取所有数据集。
  2. 根据关键字列出数据集：根据用户提供的关键字查询数据集。
  3. 列出所有数据集：获取数据库中所有数据集的记录。
  4. 列出用户加入的数据集：查询用户加入的数据集，但排除用户自己创建的数据集。
  5. 列出用户创建的数据集：查询用户自己创建的数据集。

标注数据上传

标注数据的上传通过上传一个.zip压缩包实现，系统会自动解压文件并将文件上传到图床，然后将相关记录插入到数据库供后续调用。以下是代码的详细解释：

func (t *DatasetRouter) HandleUploadImg(ctx *gin.Context) {
	var err error
	// 读取dataset id
	datasetID, err := strconv.Atoi(ctx.Param("id"))
	if err != nil {
		ctx.JSON(http.StatusBadRequest, dto.NewFailResponse("invalid dataset id"))
		return
	}
	datasetID64 := uint(datasetID)

	// 读取表单的文件
	file, err := ctx.FormFile("file")
	if err != nil {
		ctx.JSON(http.StatusBadRequest, dto.NewFailResponse("文件不存在"))
		return
	}

	// 将文件保存到本地
	savePath := "./files/" + file.Filename
	saveDir := "./files/"
	if _, err := os.Stat(savePath); err == nil {
		ctx.JSON(http.StatusBadRequest, dto.NewFailResponse("文件已存在"))
		return
	}
	err = ctx.SaveUploadedFile(file, savePath)
	if err != nil {
		ctx.JSON(http.StatusInternalServerError, dto.NewFailResponse(err.Error()))
		return
	}

	// 解压缩文件
	bytes, err := os.ReadFile(savePath)
	if err != nil {
		ctx.JSON(http.StatusInternalServerError, dto.NewFailResponse(err.Error()))
		return
	}
	err = os.MkdirAll(saveDir, os.ModePerm)
	if err != nil {
		ctx.JSON(http.StatusInternalServerError, dto.NewFailResponse(err.Error()))
		return
	}
	err = util.Unzip(bytes, "./files/")
	if err != nil {
		ctx.JSON(http.StatusInternalServerError, dto.NewFailResponse(err.Error()))
		return
	}

	// 取出该目录下的所有文件
	files, err := os.ReadDir(saveDir)
	if err != nil {
		ctx.JSON(http.StatusInternalServerError, dto.NewFailResponse(err.Error()))
		return
	}

	defer func() {
		err := os.RemoveAll(saveDir)
		if err != nil {
			ctx.JSON(http.StatusInternalServerError, dto.NewFailResponse(err.Error()))
			return
		}
	}()

	var wg sync.WaitGroup
	var mu sync.Mutex
	var imageUrls []string
	errChan := make(chan error, len(files))

	// 遍历文件，将文件上传到图床
	for _, f := range files {
		if f.IsDir() {
			continue
		}
		if filepath.Ext(f.Name()) != ".jpg" {
			continue
		}
		wg.Add(1)
		go func(f os.DirEntry) {
			defer wg.Done()

			filePath := filepath.Join(saveDir, f.Name())
			bytes, err := ioutil.ReadFile(filePath)
			if err != nil {
				errChan <- err
				return
			}

			directUrl, err := misc.UploadImage(bytes, f.Name()+".jpg")
			if err != nil {
				errChan <- err
				return
			}
			slog.Info("HandleUploadImg", "directUrl", directUrl)

			mu.Lock()
			imageUrls = append(imageUrls, directUrl)
			mu.Unlock()
		}(f)
	}

	wg.Wait()
	close(errChan)

	for err := range errChan {
		if err != nil {
			ctx.JSON(http.StatusInternalServerError, dto.NewFailResponse(err.Error()))
			return
		}
	}

	dataset, err := datasetDomain.GetDatasetByID(datasetID64)
	if err != nil {
		ctx.JSON(http.StatusInternalServerError, dto.NewFailResponse(err.Error()))
		return
	}

	err = datasetDomain.AddImageList(dataset, imageUrls)
	if err != nil {
		ctx.JSON(http.StatusInternalServerError, dto.NewFailResponse(err.Error()))
		return
	}

	ctx.JSON(http.StatusOK, dto.NewSuccessResponse(nil))
	return
}
代码分析：
  1. 读取dataset ID：从请求参数中获取数据集ID。
  2. 读取文件：从表单中读取上传的文件并保存到本地。
  3. 解压缩文件：将上传的.zip文件解压缩到指定目录。
  4. 遍历文件：遍历解压后的文件，将符合条件的文件上传到图床。
  5. 记录上传结果：将上传后的文件URL记录到数据库中。
  6. 清理临时文件：上传完成后删除本地临时文件。

Embedding计算

为了实现对图片Embedding的计算，Sapphire启动了一个定时任务通过轮询执行计算任务。在定时任务的运行过程中通过go routine实现任务的异步执行，避免对HTTP Server的阻塞。以下是代码的详细解释：

type EmbeddingCron struct {
	Interval      int
	WaitTime      int
	Cron          *cron.Cron
	DatasetDomain *domain.Dataset
	IsEmbedding   bool
}

func NewEmbeddingCron() *EmbeddingCron {
	cron := &EmbeddingCron{
		Interval:      60,
		WaitTime:      10,
		DatasetDomain: domain.NewDatasetDomain(),
	}

	return cron
}

func (e *EmbeddingCron) Init() {
	slog.Info("Embedding cron is initializing")
	e.Cron = cron.New(cron.WithSeconds())
	e.Cron.AddFunc("@every 10s", func() {
		images, err := e.DatasetDomain.ListAllNotEmbeddedImg(1)
		if err != nil {
			slog.Error("Failed to list all not embedded images")
			return
		}
		if len(images) == 0 {
			return
		}
		if e.IsEmbedding {
			slog.Debug("Embedding is running")
			return
		}
		e.IsEmbedding = true
		go func() {
			slog.Info("Start embedding image", images[0].ID)
			time.Sleep(1 * time.Minute)
			for _, img := range images {
				slog.Info("Start embedding image", img.ID)
				err := e.DatasetDomain.EmbeddingImg(img.ID)
				if err != nil {
					slog.Error("Failed to embedding image", img.ID)
					continue
				}
				slog.Info("Embedding image", img.ID, "successfully")
			}
			e.IsEmbedding = false
		}()
	})
}

func (e *EmbeddingCron) Start() {
	slog.Info("Embedding cron is starting")
	e.Cron.Start()
}
代码分析：
  1. 初始化定时任务：设置定时任务的时间间隔和等待时间。
  2. 定时任务逻辑：每隔10秒检查是否有未计算Embedding的图片，如果有则启动Embedding计算。
  3. 异步执行：通过go routine异步执行Embedding计算，避免阻塞主线程。
  4. 更新Embedding状态：计算完成后更新图片的Embedding状态。

总结

通过本篇博客，我们详细介绍了Sapphire系统中数据集管理和标注数据上传的实现细节。我们从需求分析入手，逐步讲解了数据集的创建、编辑、删除、查询以及标注数据上传的具体代码实现，并且介绍了Embedding计算的定时任务机制。希望这些内容能够帮助读者更好地理解Sapphire系统的设计与实现。

咕咕咕w
关注
专栏目录
sapphire:科学通用数据管理系统
06-02
使用$ git clone :yogo/sapphire.git从的 github 存储库中获取 yogo sapphire 项目 然后进入创建的 sapphire 目录，如果您使用 rvm 切换到 ruby​​ 版本 1.9.3 或更高版本并创建一个 rvm gemset。 执行bundle ...
sapphire
03-15
蓝宝石 入门 先决条件 你会需要 Node (recommended version 12.14 or higher) VSCode 指令 安装依赖 npm install 启动本地服务器 npm run dev 生成并发布新版本 npm run release:patch (eg 5.0.123 -> 5.0.124) ...
【Sapphire开发日志 九】数据集查询接口封装
qq_40068267的博客
06-15 96
在完成用户加入和退出数据集的功能后，我们需要对数据集的查询结果进行封装，以便判断数据集是否为用户创建或认领的。本文将详细介绍如何实现这一功能。本文详细介绍了如何封装数据集的查询结果，以判断用户是否为数据集的创建者或认领者。通过封装和结构体，并实现相关的查询函数，我们可以方便地获取用户相关的数据集信息，并进行相应的处理。
【Sapphire开发日志 八】数据集认领与创建
qq_40068267的博客
06-05 141
本文详细介绍了Sapphire系统中用户认领数据集功能的实现细节。我们从需求分析入手，逐步讲解了添加用户到数据集、移除用户从数据集、列出数据集的用户以及判断用户是否已经认领数据集的具体代码实现。
【Sapphire开发日志 六】数据集讨论功能实现
qq_40068267的博客
05-30 219
为了实现数据集下用户的讨论交流，Sapphire设计了讨论区的功能。讨论区功能允许用户在特定的数据集下发布讨论、回复他人的讨论，并查看所有相关的讨论和回复。本文将详细记录讨论区功能的具体实现，包括数据结构、表结构、讨论的创建、以及讨论的查询。本文详细介绍了Sapphire系统中讨论区功能的实现细节，从数据结构和表结构入手，逐步讲解了讨论的创建、获取单个讨论以及获取某个数据集下所有讨论的具体代码实现。
Sapphire开发日志（九）——界面开发5：我的数据集界面
ellyi的博客
06-24 312
“我的数据集”界面是用户管理和浏览自己相关数据集的重要平台。该界面提供了数据集的筛选功能，用户可以根据不同的状态（我认领的、进行中的、我发布的）来查看数据集。本文将详细介绍该界面的布局、实现过程，以及开发中的重难点和关键之处。
Sapphire开发日志（二）框架设计
wxyww2049的博客
05-30 983
*系统管理员：**有用户管理权限、可以发布官方任务、查看全局统计信息**众包发布者：**可以发布任务、发布时需指定对于任务投入的积分**工人：**认领任务者，上线后可以即时认领任务开始标注，每张图片有其价格（与发布者投入的积分有关）用户角色既可以认领任务也可以发布，也就是既可以做发布者也可以做工人。
【Sapphire开发日志 十】讨论区数据优化
qq_40068267的博客
06-21 117
通过这篇博客，我们详细介绍了如何在Sapphire系统中实现讨论区功能。我们从需求分析入手，逐步讲解了时间格式化工具函数、构建讨论结果函数以及列出数据集下所有讨论的具体代码实现。
Sapphire数据标注平台——开发日志（十一）
ellyi的博客
06-24 131
关于开发页面的介绍。
Sapphire数据标注平台——开发日志（九）
ellyi的博客
06-05 112
随着深度学习和其他人工智能技术的发展，数据标注不再局限于人工操作。现代技术使得数据标注过程可以通过算法自动完成，大幅提高了效率和准确性。例如，AI预标注技术可以在语音转写项目中自动完成语音识别和文字转写的预处理操作，之后只需人工进行少量校对。此外，质量控制也逐渐由人工审核转向AI质检，通过算法评估标注结果的准确性。
Sapphire开发日志（十一）——界面开发7：推理数据封装与控制
ellyi的博客
06-24 649
这个函数根据蒙版信息计算抠图区域，蒙版中为0的区域是没有被框选的，如果不是0，说明是被抠出的部分，那就加入到新的canvas中去。切换图片时，只要切换image和embedding即可，通过useEffect来监听这两者的变化，当他们发生变化时，我们会清空所有数据，然后将新图片交由模型进行推理。根据用户习惯，在这里滚动滚轮，理论上应该会横向滚动才对，所以我们添加一个监听器，监听这个位置的滚轮状态，组织默认行为，使用js修改当前容器的y轴。使用同样的方法，我们添加一个全部任务的展示栏，用于展示全局的任务。
半导体行业点评：Intel Sapphire Rapids处理器发布，重申服务器产业链投资机会.pdf
01-16
这款处理器采用了8通道DDR5 4800 Mbps内存，支持PCIe 5.0和CXL 1.1互连，这些特性显著提升了处理器在通用计算、人工智能、5G vRAN、网络和存储以及数据分析等领域的性能。 1. 性能提升： - 通用计算：与上一代相比...
Ae Pr 蓝宝石插件 Sapphire
03-26
Sapphire 2022 通过主要的新主机简化了工作流程，添加了必备的创意效果，提供了350个令人惊叹的新预设，并提高了工作流程中的性能速度。Sapphire 插件可让您创建任何主机原生效果工具都无法比拟的令人惊叹的有机外观...
发挥5G、AI等优势,华为与成都签署人工智能大数据中心合作框架协议.pdf
07-10
在加速AI场景化应用落地方面，马达智数有上千个商业AI数据项目的实践经验，能够缩短数据集生产周期，并确保数据集的质量和规模。 通过以上知识点，可以看出华为与成都的合作是围绕着5G、人工智能、云计算等前沿技术...
智慧建造总体策划方案（76页）.pptx
11-02
智慧建造总体策划方案（76页）
基于 Python2.7 和 PyQT4 开发的 modbus 通信采集软件
11-02
基于 Python2.7 和 PyQT4 开发的 modbus 通信采集软件，已在 windows、deepin linux 和树莓派上测试！
LLC simulink仿真《slx模型文件》
11-02
LLC simulink仿真《slx模型文件》 LLC谐振转换器是一种高效的直流-直流(DC-DC)电源转换器，因其独特的谐振特性而得名。在电力电子领域，LLC仿真对于理解和优化这种转换器的性能至关重要。Simulink是MATLAB环境下的一个强大工具，用于建立和仿真复杂系统，包括电力电子系统。 标题“LLC simulink仿真”指的是使用Simulink进行LLC谐振转换器的建模和仿真。通过Simulink，工程师可以模拟LLC转换器在不同工作条件下的行为，如负载变化、输入电压变动以及控制策略的影响。 **LLC电路的基本原理：** LLC谐振转换器结合了升压（Boost）、降压（Buck）和串联谐振（Series Resonant）三种拓扑结构的特点。它由主开关、副开关、电感、电容和二极管组成。谐振电容和电感形成谐振回路，使得开关器件能在零电压或零电流条件下切换，从而降低开关损耗并提高效率。 **仿真过程：** 在Simulink中，首先需要建立LLC转换器的模型，包括各个元件的参数设定。这包括主开关和副开关的开关频率、谐振电容和电感的值、二极管的反向恢复特性等。然后，设
krb5-devel-1.15.1-55.el7_9.i686.rpm
最新发布
11-02
Centos7 el7.x86_64 官方离线安装包，安装指令为 sudo rpm -ivh krb5-devel-1.15.1-55.el7_9.i686.rpm
基于Matlab实现Stanley算法项目源码（下载即用）高分项目
11-02
基于Matlab实现Stanley算法项目源码（下载即用）高分项目，本资源中的源码都是经过本地编译过可运行的，评审分达到98分，资源项目的难度比较适中，内容都是经过助教老师审定过的能够满足学习、毕业设计、期末大作业和课程设计使用需求，如果有需要的话可以放心下载使用。 基于Matlab实现Stanley算法项目源码（下载即用）高分项目基于Matlab实现Stanley算法项目源码（下载即用）高分项目基于Matlab实现Stanley算法项目源码（下载即用）高分项目基于Matlab实现Stanley算法项目源码（下载即用）高分项目基于Matlab实现Stanley算法项目源码（下载即用）高分项目基于Matlab实现Stanley算法项目源码（下载即用）高分项目基于Matlab实现Stanley算法项目源码（下载即用）高分项目基于Matlab实现Stanley算法项目源码（下载即用）高分项目基于Matlab实现Stanley算法项目源码（下载即用）高分项目基于Matlab实现Stanley算法项目源码（下载即用）高分项目基于Matlab实现Stanley算法项目源码（下载即用）高分项目基
复刻版《花宇之魂》项目开发资源包下载与交流指南
Pokeemerald 是一个开源的 Pokémon Ruby 和 Sapphire 版本的复刻项目，它允许开发者使用更现代的编程语言和技术来重新实现和扩展这个经典游戏。通过反编译原始游戏的二进制文件，pokeemerald 提供了一套完整的工具...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值