全新图文对、视频文本对数据集，高效赋能多模态大模型训练任务

已于 2024-12-02 15:13:03 修改
阅读量849 收藏 19
点赞数 21
文章标签： 人工智能 计算机视觉 自然语言处理 语音识别
于 2024-12-02 15:10:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Speechocean/article/details/144188780
版权

海天瑞声11月数据集上新！这次推出的数据集包括语音识别、语音合成、多模态等领域，可用于多模态大模型训练任务，开发者可轻松应对数据瓶颈，高效提升模型性能。

  • 印度尼西亚语语音识别数据集

  • 泰语语音识别数据集

  • 温柔贴心中文女声语音合成数据集

  • 美国英语多情感语音合成数据集

  • 人体动作视频文本对数据集

  • 人体行为图文对数据集

  • 监控人体图文对数据集

  • 人脸图文对数据集

  • 专业场景图文对数据集

  • 通识图文对数据集

图片

印尼语语音识别数据集-对话

印尼语是印度尼西亚的官方语言，也是马来西亚和文莱的官方语言之一，在新加坡和东帝汶也有一定数量的使用者，全球约有1.9亿人口使用印尼语。高质量印尼语数据有助于提升模型语音识别能力，助力企业拓展东南亚市场。 

🔥 产品特色：数据集含 100名发音人，总时长109小时，95%以上字准确率。发音人性别均衡，年龄跨度从18岁到65岁，全面覆盖了不同年龄段的语言特征。

🚀 话题内容：家庭、健康、音乐、购物、体育、旅行、工作、食物、教育、电影、社交网络、朋友、娱乐、新闻、宠物、计算机、电视、名人、生活、结婚、天气等日常闲聊话题。

图片

泰语语音识别数据集-对话

泰语又称泰国语或暹罗语，主要在泰国和老挝部分地区使用，全球约有6800万人口使用泰语。对话数据有助于模型理解真实场景的对话模式和语言习惯，提升对泰语理解的准确度。

🔥 产品特色：包含402名发音人，总时长超203小时，95%以上字准确率。61.69%男性和38.31%女性发音人，年龄跨度从18岁到65岁，全面覆盖了不同年龄段的语言特征。

🚀 话题内容：包括泰语独白和会话，覆盖金融、教育、医疗、技术、环境、旅游等11个行业。

图片

中文女声语音合成数据集-温柔贴心

卓越的数据质量深受客户喜爱，成为数字人和虚拟主播的理想选择，能够助力模型生成更加自然和有吸引力的音色。

🔥 产品特色：总时长4.43小时，99%以上字准确率。音色亲切温柔，语速均匀。标注发音、韵律等细节。

🚀 话题内容：包含情侣对话、电商直播、陈述语气、自由对话等内容。覆盖愉悦、不满、害怕、温柔、抒情、悲伤、严厉、友好、低语、抱歉、兴奋、撒娇、愤怒、平静等14种情感。

图片

美国英语多情感语音合成数据集

在游戏、有声读物、虚拟人等领域，情感丰富的语音合成数据能够提升模型语音合成效果，增加用户体验，助力国内企业出海欧美市场。

🔥 产品特色：共包括3个数据集，每种音色3小时，由2男和1女录制，3个音色年龄段。每个音色包括中性、开心、愤怒、悲伤、震惊、憎恨、害怕、大喊、哭泣、大笑、虚弱等11种情感。

图片

人体动作视频文本对数据集

🔥 产品特色：多种场景（室内、室外），多种语言文本（中文、英文），多年龄段（青年、中年、老年）多种人体动作（包括但不限于打电话、抽烟、喝水等），文本描述视频中人员信息及人员动作内容。提供视频中主要元素的标签。

🚀 产品规模：100,000组

🖼️ 图片规格：不低于1080P，视频时长不低于5s

📝 文本规格：包含主要元素标签、中文及英文描述

图片

人体行为图文对数据集

🔥 产品特色：多色人种室内外不同采集场景下，涵盖了常见的面部表情及丰富肢体动作，不同拍摄角度及年龄段（均为成年人）的多种人体行为图片及文本描述。

🚀 产品规模：20,000组

🖼️ 图片规格：512P及以上

📝 文本规格：包含标签，中文及英文描述

图片

监控人体图文对数据集

🔥 产品特色：室内和室外多样采集环境，涵盖老中青不同年龄段，以及不同季节的人体图像。中英文本的描述，包含人体对应位置、方位指示等细节标注。

🚀 产品规模：20,000组

🖼️ 图片规格：720P以上

📝 文本规格：包含中文及英文描述

图片

人脸图文对数据集

🔥 产品特色：多色人种室内外不同采集场景下，成年人佩戴口罩、眼镜、耳机，表现多种常见表情的面部图片及文本描述。

🚀 产品规模：20,000组

🖼️ 图片规格：512P及以上

📝 文本规格：包含中文及英文描述

图片

专业场景图文对数据集

🔥 产品特色：多种场景、多时间段、多种拍摄角度的图像，图像覆盖建筑、陈列、城市街景、家庭环境、比赛场景、商场、学校、展览、自然环境等。提供对应文本描述。

🚀 产品规模：20,000组

🖼️ 图片规格：720P及以上

📝 文本规格：包含标签，中文及英文描述，中文描述大于30个汉字（不包含符号）。

图片

通识图文对数据集

🔥 产品特色：包含人物、美食、风景、建筑、城市、乡村、健康、运动、医疗、汽车、背景、金融、教育、油画、插画、水彩、旅行、时尚、浪漫、动物、植物、太空、科技等23种类别数据。

🚀 产品规模：2,000,000组

🖼️ 图片规格：2K及以上

📝 文本规格：包含标签，中文或英文描述

多模态-图文生成-数据集：COCO、LAION
u013250861的博客
10-26 850
多模态-图文生成-数据集：COCO、LAION。
数据集-(图像-文本)：LAION【史上最大规模多模态图文数据集，包含58.5亿个图像-文本对】
u013250861的博客
05-02 4883
之前的研究中，为了限制生成模型不生成种族主义图片，尝试在训练集中删除了与暴力相关的物体、人和面部的图像，然而，这显然限制了模型的通用能力—比如人脸生成。紧接着发布的ALIGN[3]、GLIDE[12]等证实了这一点，但是这些大型数据集都没有开源，因此这一领域的研究，只集中在少数几个机构中，2021年公布的LAION-400M[1]是当时最大的公开图文数据集，本次发布的LAION-5B[2]是LAION-400M的14倍，足够规模的公开数据使得该领域的研究更多元化，能够让更多的研究者参与到这一领域的研究中。
基于多模态特征融合的电商图文检索系统
weixin_56233385的博客
09-02 2026
本文围绕图文跨模态检索展开研究，采用Chinese-CLIP预训练模型，对电商图文数据进行训练。在此基础上，引入知识蒸馏技术，对模型进行进一步的优化和增强。同时，应用Prompt条件提示学习，引导模型更好地完成任务。在模型训练完成后，将最优Pytorch模型转换为Onnx格式，相比原始Pytorch模型，提升了特征计算的推理速度，同时不影响特征提取的下游任务效果。接下来，使用BERT和Bi-GRU网络提取文本侧特征，结合Faster R-CNN和ResNet101网络提取图像侧特征，并通过计算其图文相似度进
80TB！58.5亿！世界第一大规模公开图文数据集LAION-5B 解读
OpenDataLab的博客
10-09 9568
LAION-5B，这个包含超过50亿图像文本对的数据集，进一步扩展了语言视觉模型的开放数据集规模，使得更多研究者能够参与到多模态领域中
图文多模态公开数据集归纳（图文情感分类、图文检索）｜有中英文文本、含下载地址
weixin_43092343的博客
03-03 8659
图文多模态的公开数据集下载地址汇总～包括图文情感分类、图文分类、图文检索等
中国团队开源大规模高质量图文数据集ShareGPT4V
睡前人工智能共享实验室
11-29 727
这一举措在多模态领域取得了显著的进展，超越了同级别的模型。这一研究为未来的多模态研究和应用提供了有力支持，也促使多模态开源社区关注高质量图像描述的开发，预示着更强大、智能的多模态模型的出现。通过对GPT4-Vision模型产生的10万条图像-文本描述数据进行深入研究，他们成功构建了这一高质量的数据集，涉及的内容丰富多样，包括世界知识、艺术评价等。最终，通过在预训练和有监督微调阶段同时使用ShareGPT4V数据集，他们得到了ShareGPT4V-7B模型，在多模态基准测试中取得了优异的成绩。
首个大规模图文多模态数据集LAION-400M介绍
木盏
12-04 1万+
openAI的图文多模态模型CLIP证明了图文多模态在多个领域都具有着巨大潜力，随之而来掀起了一股图文对比学习的风潮。就在前几天（2022年12月），连Kaiming都入手这一领域，将MAE的思路与CLIP的思路结合，推出了FLIP，有兴趣可戳（https://arxiv.org/abs/2212.00794）。对于迷茫的CV研究生，如果你找不到研究方向，just follow Kaiming绝对不会出错。今天要介绍的是一个优秀的图文多模态数据集LAION，跟CLIP原始训练数据集就有相当体量，即400个m
我爱计算机视觉 | ACL 2024 | 剑桥大学团队开源：赋能多模态大模型RAG应用，首个预训练通用多模态后期交互知识检索器
csdn_xmj的博客
08-15 1351
PreFLMR模型是一个通用的预训练多模态知识检索器，可用于搭建多模态RAG应用。模型基于发表于 NeurIPS 2023 的 Fine-grained Late-interaction Multi-modal Retriever (FLMR) 并进行了模型改进和 M2KR 上的大规模预训练。目前训练数据、预训练权重、微调代码等均已开源。该模型已在企业级RAG应用成功落地。作者团队将在8月10日-17日参加ACL 2024，欢迎学术交流和商业合作。
多模态大模型主流架构模式的演化历程
python122_的博客
08-13 1654
近年来,随着深度学习技术的飞速发展,多模态学习逐渐成为人工智能领域的研究热点。与单一模态不同,多模态学习旨在利用不同模态数据(如文本、图像、音频等)之间的互补信息,构建更加全面、准确的智能模型。多模态融合是实现多模态学习的关键,其目标是在特征或决策层面实现不同模态表示的有效整合。然而,设计高效的多模态融合架构仍面临诸多挑战,如模态间的异构性、语义鸿沟、数据预处理与对齐等。针对这些挑战,学术界提出了多种多模态模型架构,并在图像描述、视频问答、语音识别等任务上取得了瞩目成果。但不同架构在融合方式、融合阶段等方面
【剑桥 | 发布多模态检索器，赋能多模态大模型RAG应用】_preflmr
mama19971023的博客
07-15 1085
PreFLMR模型是一个通用的预训练多模态知识检索器，可用于搭建多模态RAG应用。模型基于发表于 NeurIPS 2023 的 Fine-grained Late-interaction Multi-modal Retriever (FLMR) 并进行了模型改进和 M2KR 上的大规模预训练。尽管多模态大模型（例如 GPT4-Vision、Gemini 等）展现出了强大的通用图文理解能力，它们在回答需要专业知识的问题时表现依然不尽人意。
PreFLMR：赋能多模态大模型RAG应用
安静的软件工程师
05-04 1200
PreFLMR：赋能多模态大模型RAG应用
开源项目 | 多模态大模型VILA：强大的视频理解和多图理解能力
强化学习曾小健
10-22 1187
VILA是一种视觉语言模型 (VLM)，使用大规模交错图像文本数据进行预训练，可实现视频理解和多图像理解功能。VILA 可通过AWQ4 位量化和TinyChat框架部署在边缘端。我们发现：（1）图文对还不够，图文交错是必要的；（2）在交错的图文预训练期间解冻LLM可以实现上下文学习；（3）重新混合纯文本指令数据对于提升VLM和纯文本性能至关重要；（4）令牌压缩扩展了#video 帧。VILA视频推理、情境学习、视觉思维链和更好的世界知识。
YUV420 720P数据
10-11
YUV 720P NV12 IYUV数据各一份
超高清航拍数据视频 1080P.mp4
07-15
国内超高清航拍视频 高清旅游航拍视频素材
21个深度学习开源数据集分类汇总
AbnerAI的博客
03-22 2498
GENKI-R2009a包含11159个图像，GENKI-4K包含4000个图像，分为“笑”和“不笑”两种，每个图片的人脸的尺度大小，姿势，光照变化，头的转动等都不一样，专门用于做笑脸识别。GENKI-SZSL包含3500个图像，这些图像包括广泛的背景，光照条件，地理位置，个人身份和种族等。UCF50 是一个由中佛罗里达大学发布的动作识别数据集，由来自 youtube 的真实视频组成，包含 50 个动作类别，如棒球投球、篮球投篮、卧推、骑自行车、骑自行车、台球、蛙泳、挺举、跳水、击鼓等。
多模态图文融合
⛄
05-01 3088
目录图文融合的数据集动作情感分析方法表情情感分析语义情感分析 图文融合的数据集 动作情感分析方法 表情情感分析 语义情感分析
文绘千里江山！1000万图文数据集Git-10M和生成式基础模型Text2Earth
我爱计算机视觉
01-13 361
关注公众号，发现CV技术之美本文来自遥感与深度学习。分享论文Text2Earth: Unlocking Text-driven Remote Sensing Image Generation with a Global-Scale Dataset and a Foundation Model，介绍了一个 1000 万图像文本对的全球遥感数据集和生成式基础模型Text2Earth。论文：https:...
史上最大多模态图文数据集发布！
夕小瑶科技说
11-03 3738
文 | 付瑶编 | 小轶最近多模态研究圈中出现了一个扬言 “史上最大规模”的多模态图文数据集：LAION-400。该数据集在今年8月完全公开，共计公开了 4亿图文对，可以依据不同的用途提供...
图像处理及深度学习开源数据集大全（四万字呕心沥血整理）
热门推荐
HIT_Vanni的博客
11-24 2万+
本文整理了150 余个深度学习和图像处理领域的开源数据集，包括：目标检测、人脸识别、文本识别、图像分类、缺陷检测、医学影像、图像分割、图像去雾、关键点检测、动作识别、姿态估计、自动驾驶、RGBT共13个方向。
AI大模型赋能智能座舱多模态交互的思维导图
最新发布
05-09
### AI大模型赋能智能座舱多模态交互的思维导图 以下是一个关于AI大模型赋能智能座舱多模态交互的思维导图结构描述，旨在帮助理解各部分之间的关系及其关键技术点。 #### ### 1. 核心概念 - **AI大模型** - 定义：大规模预训练语言模型或多模态模型[^1]。 - 特征：超大规模参数量、泛化能力强、支持多种任务类型。 - **智能座舱** - 定义：集成多种IT技术和人工智能技术的一体化数字平台[^4]。 - 功能目标：提升用户体验、增强行车安全性、实现个性化服务。 - **多模态交互** - 含义：结合语音、图像、手势等多种输入方式完成复杂任务[^3]。 - 技术基础：跨模态对齐、特征提取与融合。 --- #### ### 2. 应用场景 - **语音语义理解** - 提升对话系统的自然性和流畅性[^3]。 - 实现深层次的人机互动，例如情感分析和支持上下文记忆。 - **视觉感知** - 驾驶员状态监测（疲劳检测、情绪识别）[^2]。 - 手势控制和面部表情解析。 - **触觉反馈** - 结合振动或其他物理信号传递信息。 - 增强沉浸感并减少驾驶分心风险。 --- #### ### 3. 技术架构 - **底层基础设施** - 边缘计算设备用于实时处理本地数据[^5]。 - 数据传输协议保障低延时通信。 - **中间层模块** - 多模态特征表示学习算法[^6]。 - 使用Transformer架构进行序列建模。 - 跨模态注意力机制提高关联性捕捉精度。 - Prompt Engineering优化提示设计流程。 - 构造高质量指令引导模型生成特定输出。 - 运用思维链方法逐步推导解决方案。 - **高层应用接口** - 开发者工具包简化定制化开发工作流[^7]。 - 用户界面适配不同年龄段和技术水平群体需求。 --- #### ### 4. 挑战与机遇 - **主要挑战** - 计算资源消耗巨大可能导致成本增加[^8]。 - 数据隐私保护成为重要议题需要妥善解决。 - **潜在机会** - 推动汽车行业向更高层次智能化迈进[^9]。 - 创造全新商业模式如订阅制增值服务。 --- #### ### 5. 示例代码片段 下面给出一段简单的Python代码演示如何利用Hugging Face Transformers库加载预训练好的BERT模型来进行文本分类任务作为参考之一: ```python from transformers import BertTokenizer, BertForSequenceClassification import torch tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') model = BertForSequenceClassification.from_pretrained('bert-base-uncased') inputs = tokenizer("Hello world!", return_tensors="pt") labels = torch.tensor([1]).unsqueeze(0) outputs = model(**inputs, labels=labels) loss = outputs.loss logits = outputs.logits ``` 此段代码展示了基本的操作步骤包括初始化tokenzier对象、准备输入张量以及调用forward函数得到预测结果等操作过程[^1]. ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值