一键运行 ComfyUI SD3！大规模医学 VQA 评测数据集上线，涉及超 20 个人体器官和部位

于 2024-07-12 15:03:58 发布
阅读量362 收藏 7
点赞数 8
文章标签： 人工智能 机器人 深度学习 机器学习 数据集 语言模型 医学模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/HyperAI/article/details/140379429
版权

为了进一步推进 AI4S 的普适化，HyperAI超神经策划了「Meet AI4S」系列直播栏目。第一期直播将于 7 月 17 日 19:00 准时上线！ 我们邀请到了浙江大学遥感与地理信息系统博士生丁佳乐，他的分享主题为「神经网络为房价的空间异质性提供新解释」，快来预约直播～

https://www.huodongxing.com/event/2762111401922

7 月 8 日-7 月 12 日，hyper.ai 官网更新速览：

  • 优质公共数据集：10 个

  • 优质教程精选：3 个

  • 社区文章精选：5 篇

  • 热门百科词条：5 条

  • 7 月截稿顶会：2 个

访问官网：hyper.ai

公共数据集精选

1. OmniMedVQA 大规模医学 VQA 评测数据集

该数据集专注于医疗领域的大型视觉问答评测，包含 118,010 张不同的图片，涵盖 12 种不同的模态，涉及超过 20 个人体不同的器官和部位，旨在为医学多模态大模型的发展提供评测基准。

直接使用：https://go.hyper.ai/vafuu

2. Evol-character 角色设定和对话数据集

该数据集包含 200 个角色的设定和对话数据，由 GPT3.5 和 GPT4 生成组成。
直接使用：https://go.hyper.ai/IwTIW

3. HellaSwag 大模型常识推理数据集

HellaSwag 数据集包含 70,000 个问题，这些问题对人类来说非常简单（准确率超过 95%），但对于模型来说却很难（准确率约为 48%）。该数据集旨在通过构建一个对现有最先进模型具有挑战性的数据集，来探索深度预训练模型在常识推理方面的表现。

直接使用：https://go.hyper.ai/4WJGQ

4. M2Lingual 多语言多轮次指令微调数据集

该数据集涵盖了 70 种不同的语言，为低资源语言提供了更多的训练数据，含共计 182,000 个指令微调对，旨在提升大型语言模型在遵循指令方面的性能，特别是在多样化的语言和任务上。

直接使用：https://go.hyper.ai/1AY34

5. MyAnimeList 热门动漫信息数据集

该数据集包含从 MyAnimeList 网站收集的热门动漫信息。它包括各种属性，可以详细描述每部动漫，可用于分析和研究动漫趋势、评分和其他相关因素。

直接使用：https://go.hyper.ai/mU04c

6. Magpie-Pro-300K-Filtered 高质量对齐数据集

该数据集是使用 Magpie 方法合成的高质量指令数据集，它是从 Llama-3 70B 中提取的。这个数据集包含约 300k 条高质量的对话，是通过一个自动化的自合成过程生成的，该过程利用了对齐的 LLMs 的自回归特性来生成用户查询和相应的回复。

直接使用：https://go.hyper.ai/YTDxI

7. Vript 英文视频-文本数据集

该数据集包含 12k 个经过注释的视频，总共超过 420k 个剪辑片段。Vript 数据集的每个片段都配有大约 145 个单词的标题。

直接使用：https://go.hyper.ai/7o2Ca

8. 中国东部平原丘陵区高分辨率树木检测数据集

该数据集包含总计 664,487 颗树木的 1,920 张图像训练集和 480 张图像测试集，每张图像的平均包含 276 棵树木。

直接使用：https://go.hyper.ai/zTo63

9. AdaTreeFormer-London 伦敦高分辨率树木检测数据集

该数据集涵盖了各种城市和住宅环境，树木密度较高，具有不同的树木形状和大小。包含总计 95,067 颗树木的 452 张图像训练集和 161 张图像测试集，每张图像的平均包含 155 棵树木。

直接使用：https://go.hyper.ai/iVHO1

10. AdaTreeFormer-Yoesmite 约塞米蒂高分辨率树木检测数据集

该数据集主要覆盖木质山区，树木密度较低且地形复杂，包含总计 98,949 颗树木的 1,350 张图像训练集和 1,350 张图像测试集，每张图像的平均包含 36 棵树木，为模型在复杂地形中的性能提供了重要的测试环境。

直接使用：https://go.hyper.ai/ic1bO

更多公共数据集，请访问：

https://hyper.ai/datasets

公共教程精选

1. 在线教程 | 清华大学强推！YOLOv10 实现更高效的目标检测

YOLOv10 是由清华大学研究人员基于 Ultralytics Python 包开发的实时目标检测方法，旨在解决之前 YOLO 版本在后处理和模型架构方面的不足。该教程，无需输入任何命令，一键克隆即可立即开启目标检测。

在线运行：https://go.hyper.ai/vtjgs

2. img2img-turbo 图像转换 Demo

img2img-turbo 是一款高效的图像到图像转换模型，专为实现高效的视觉内容转换而设计。它能够轻松将单色图像赋予丰富的色彩，或将简单的草图转换为逼真的图像。本教程提供了一个直观的模型演示 Demo，简单几笔，即可让你体验到成为绘画高手的乐趣！

在线运行：https://go.hyper.ai/Ms5zH

3. ComfyUI StableDiffusion3 工作流在线教程

Stable Diffusion 3 是多模态扩散变换器 (MMDiT) 模型，专门用于将文本描述转化为图像，它在生成高质量图像、处理复杂布局以及解析复杂提示方面表现出色。本教程介绍了如何通过 ComfyUI 工作流来部署和使用 Stable Diffusion 3。只需克隆容器，即可轻松通过 API 接口启动并运行模型。

在线运行：https://go.hyper.ai/sEQCW

社区文章精选

1. 登 Cell 子刊！清华大学张强锋课题组开发 SPACE 算法，组织模块发现能力领先同类工具

清华大学张强锋课题组开发了基于图自编码器深度学习框架的人工智能算法 SPACE，可从单细胞分辨率的空间转录组数据中，识别空间细胞类型并发现组织模块。SPACE 在细胞类型识别和组织模块发现方面明显优于其他工具。本文是该研究的详细解读和分享。

查看完整报道：https://go.hyper.ai/IZE5Q

2. 上海交大余祥课题组发布可迁移深度学习模型，鉴定多类型 RNA 修饰、显著减少计算成本

上海交通大学生命科学技术学院长聘教轨副教授余祥课题组，联合上海辰山植物园杨俊 / 王红霞团队，开发了可迁移深度学习模型 TandemMod，实现了在 DRS 中鉴定多种类型的 RNA 修饰。本文是对实验过程的解读与分享。

查看完整报道：https://go.hyper.ai/qkS18

3. 通用机器人里程碑！MIT 提出策略组合框架 PoCo，解决数据源异构难题，实现机器人多任务灵活执行

麻省理工研究人员提出了机器人策略组合框架 PoCo，能够解决机器人在工具使用任务中的数据异构性、任务多样性问题。本文是对研究过程的解读与分享。

查看完整报道：https://go.hyper.ai/jrJNV

4. 中国科学院院士丁汉：人形机器人——机器人与人工智能结合的爆发点

近日，HyperAI超神经深度对话丁汉院士，了解其在智能制造领域的深厚积累，以及他对工业机器人、人形机器人等研究领域的独到见解。本文是对丁汉院士访谈内容的详细解读与分享。

查看完整报道：https://go.hyper.ai/A883w

5. 20 个实验数据创造 AI 蛋白质里程碑！上海交大联合上海 AI Lab 发布 FSFP，有效优化蛋白质预训练模型

上海交通大学洪亮团队联合上海人工智能实验室青年研究员谈攀，提出了一个基于蛋白质预训练模型的微调训练方法 FSFP，能在只利用 20 个随机湿实验数据的情况下，高效训练蛋白质预训练模型，且能大幅提高模型的单点突变预测阳性率。本文是对论文的解读与分享。

查看完整报道：https://go.hyper.ai/5vKyf

热门百科词条精选

1. LlamaIndex

2. 终身学习 Lifelong Learning

3. 旋转位置编码 RoPE

4. 俄罗斯套娃表示学习 MRL

5. 三维高斯泼溅 3D Gaussian Splatting

这里汇编了数百条 AI 相关词条，让你在这里读懂「人工智能」：

https://go.hyper.ai/wiki

B 站直播预告

「Meet AI4S」系列直播第一期将于 7 月 17 日 19:00 正式上线，我们有幸邀请到了浙江大学遥感与地理信息系统博士生丁佳乐，他将以「神经网络为房价的空间异质性提供新解释」为题，深入浅出地为大家介绍模型的设计思路与应用场景，并进一步分享地理加权回归的空间回归分析方法。

点击即可预约直播：

[Meet AI4S 系列直播第一期 | 神经网络为房价的空间异质性提供新解释​www.huodongxing.com/event/2762111401922

嘉宾介绍

在这里插入图片描述

在这里插入图片描述

一站式追踪人工智能学术顶会：

https://go.hyper.ai/event

以上就是本周编辑精选的全部内容，如果你有想要收录 hyper.ai 官方网站的资源，也欢迎留言或投稿告诉我们哦！

下周再见！

关于 HyperAI超神经 (hyper.ai)

HyperAI超神经 (hyper.ai) 是国内领先的人工智能及高性能计算社区， 致力于成为国内数据科学领域的基础设施，为国内开发者提供丰富、优质的公共资源，截至目前已经：

  • 为 1300+ 公开数据集提供国内加速下载节点

  • 收录 400+ 经典及流行在线教程

  • 解读 100+ AI4Science 论文案例

  • 支持 500+ 相关词条查询

  • 托管国内首个完整的 Apache TVM 中文文档

访问官网开启学习之旅：

https://hyper.ai/

HyperAI超神经
关注
  • 8
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
昂达ONDA B250SD3 BIOS 支持9代CPU.rar|昂达ONDA B250SD3 BIOS 支持9代CPU.rar
11-26
昂达ONDA B250SD3主板是一款基于Intel B250芯片组的主板，设计用于配合Intel Skylake-S及Kaby Lake-S处理器。BIOS（基本输入输出系统）是计算机硬件与操作系统之间的一个重要接口，负责在开机时执行初始化任务，并...
网上拍卖系统 数据结构实验 sd3 实验报告
10-10
exercise 5、6， 各部分资源 This assignment is designed to reinforce the student's understanding and use of basic C++ programming skills.
OpenBayes 一周速览丨首个云平台部署Cambrian-1教程来了，Lecun团队&谢赛宁新作！在线运行ComfyUI SD3工作流
OpenBayes的博客
07-09 658
这个项目的核心目标是探索和评估不同的视觉表征，以及它们如何与大型语言模型相结合，从而推动视觉表示学习的进步，并提供对模型和架构的新见解。这个数据集包含约 300k 条高质量的对话，是通过一个自动化的自合成过程生成的，该过程利用了对齐的 LLMs 的自回归特性来生成用户查询和相应的回复。每个条目都包含有关角色、媒体来源和涉及角色场景的详细信息。该数据集包含 118,010 张不同的图片，涵盖 12 种不同的模态，涉及超过 20 个不同的人体器官和部位，解决了现有医学图像数据集在多样性和真实性方面的不足。
ComfyUI中使用 SD3 模型（附模型下载详细说明）
fanfanfan的博客
06-15 1677
其中，t5xxl类型的文本编码器有助于增强模型对prompt的理解能力！如果想将文生图模型、文本编码器模型分开使用，那么，只需要下载文生图模型。目录添加到该配置文件夹中，修改完配置文件需要重启。以及文本编码器模型，所以下载下来直接使用即可。官方的测试prompt进行测试。，该模型拥有着20亿参数。模型并没有内嵌t5xxl类型的编码器。那么，这些模型该如何使用呢？文本编码器模型，那么可以下载。，然后将下载的编码器模型放在。节点来加载文本编码器模型。目录下，那么需要修改下。放一组官方的图体验下。
SD3开放权重下载，效果惊艳！附comfyUI工作流教程
2401_85116933的博客
06-13 1300
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。
深度测评：SD3模型表现如何？实用教程助你玩转Stable Diffusion 3 ，最强SD3模型使用攻略，附ComfyUI实操SD3模型到底如何？StableDiffusion3全面评测！
猫头虎：授渔优于赠鱼，兴趣引领智慧，探索之乐尤显珍贵。商务合作：Libin9iOak，共赴知识与乐趣的探索之旅！
06-28 7249
SD第三代模型SD3基于SDXL进行训练，增强了TVE解码部分，改善了对提示的理解和元素融合能力。SD3采用了三种Clip编码，增加了文本编码器，训练数据量更大。介绍了Config UI的批处理操作，包括不同工作流的使用和动态提示词插件的安装。讨论了模型的获取和配置，以及如何通过LibLib网站下载和使用资源。进行了不同模型的生成效果比较，探讨了提示词的调整和优化，以及在线生成与本地生成的差异。
ComfyUI 使用SD3
勇往直前！
06-13 1034
我们从之前公布的技术报告可以看到这次SD3的text-encoder模型从原本的Clip模型换成了著名的Google开源的encoder-decoder架构的T5模型，换成T5最大的一个优势在于可以支持更长、更详细的文本作为prompt了。：SD3模型开源之后，我第一时间去寻找的并非是SD3的基础模型，而是想看看这次重新训练的VAE模型文件到底多大，结果非常让我意外的是，这次SD3的VAE直接内置到了base model里面了，并没有单独提供VAE模型。也可以看看如下链接的对论文的解读。
SD2.0和3.0中文协议.rar_sd 2.0和3.0_sd 3.0协议速度_sd2.0和sd3.0_sd3.0协议_sd3.
07-14
SD2.0和3.0中文协议，希望能帮到大家学习sd卡
luc4sd3v:个人资料概述
03-15
你好，我是卢卡斯 更好地了解我： :telescope: 我目前正在从事：一个名为项目。 :seedling: 我目前正在学习：开始 。 :people_with_bunny_ears: 我希望在以下方面进行合作：开源项目。 语言能力 其他 当前操作系统 ...
昂达B250SD3全固版驱动程序下载
03-19
主芯片组：Intel B250 音频芯片：集成8声道音效芯片 内存类型：2×DDR4 DIMM 最大内存容量：16GB 主板板型：Micro ATX板型 外形尺寸：22.1×17.7cm 电源插口：一个4针，一个24针电源接口 供电模式：五相
YOLOv10改进 | 特殊场景检测篇 | 轻量级的低照度图像增强网络IAT改进YOLOv10暗光检测（全网独家首发）
最新发布
Snu77的博客
07-11 1651
本文给大家带来的改进机制是轻量级的变换器模型：Illumination Adaptive Transformer (IAT)，用于图像增强和曝光校正。其基本原理是通过分解图像信号处理器（ISP）管道到局部和全局图像组件，从而恢复在低光或过/欠曝光条件下的正常光照sRGB图像。具体来说，IAT使用注意力查询来表示和调整ISP相关参数，例如颜色校正、伽马校正。模型具有约90k参数和约0.004s的处理速度，能够在低光增强和曝光校正的基准数据集上持续实现优于最新技术（State-of-The-Art, SOTA）
深度学习 - 模型的保存与部署方式汇总
weixin_47552266的博客
07-06 1296
PyTorch 的默认保存格式，灵活支持保存整个模型、模型的权重和优化器状态。
AI技术的转变：从辨别式到生成式
学IT，找陈寒
07-09 3130
李彦宏在2024世界人工智能大会上的发言，提醒我们在AI技术发展的道路上，不要盲目追求技术本身或表面的用户数据，而应更多地关注技术的实际应用和产业价值。在大模型技术与个性化应用之间找到平衡，将是未来发展的关键。作为AI从业者和技术爱好者，我们应以务实的态度，探索AI技术在各个领域的实际应用，为产业发展和社会进步贡献力量。通过李彦宏的发言，我深刻认识到AI技术发展的方向和挑战，也更加坚定了自己在这一领域继续探索和创新的信心。未来，愿我们共同努力，推动AI技术更好地服务于社会和产业，为人类创造更美好的未来。
7.深度学习概述
MechMaster
07-10 767
1. 线性回归 1.1 线性回归一般表达式 1.2 线性回归内积表达方式： 1.3 多个样本时，线性回归的进一步表达： 1.4 线性回归方程的解析 1.5 线性回归就是求loss函数的最小值 2. 如何求函数最小值 2.1 一个例子 2.2 求导法——求最小值 2.3 求导法存在的问题 2.4 迭代法——求最小值 3. 代码实现 3.1 手动求函数最小值 3.2 使用pytorch求函数最小值
UGC与AI引领的下一个10年，丝芭传媒已经准备好
NewsMash的博客
07-08 705
目前，美踏正在根据技术测试获得的反馈数据友好产品，具体的运营策略，也在跟随产品调整与平衡，未来产品生态系统中将陆续加入基于AI和UGC融合的次世代音乐舞蹈模拟，虚拟养成和大型休闲和派对游戏，宠物养成和卡牌对战等游戏产品，以及AI模拟全互动综艺的全新产品。其次，用户为什么要在这个场景里沉淀，逻辑也没有跑通。比如，以往偶像经济中，粉丝更多的是作为应援客体的身份，但在元宇宙平台上，借助UGC创作工具，他们可以自己生成虚拟形象和娱乐内容，举办个人虚拟公演与虚拟演出，甚至可能和自己的偶像的虚拟分身同台表演。
守望数据边界：sklearn中的离群点检测技术
2401_85742452的博客
07-08 698
本文的目的是帮助读者更好地理解离群点检测，并掌握在sklearn中实现这些技术的方法。通过本文，我们了解到了sklearn中不同的离群点检测技术，并提供了实际的代码示例。Isolation Forest是一种基于随机森林的离群点检测方法，它通过随机选择特征和切分点来“孤立”离群点。在实际应用中，离群点检测可以帮助我们识别数据集中的异常行为，从而进行进一步的分析或采取预防措施。评估离群点检测的效果通常比较困难，因为没有绝对的标准。基于密度的方法，如DBSCAN，根据数据点的密度而非固定阈值来识别离群点。
Hugging Face使用笔记
人无远虑，必有近忧
07-09 1477
Hugging Face Hub和 Github 类似，都是Hub(社区)。Hugging Face可以说的上是机器学习界的Github。hugging face在NLP领域最出名，其提供的模型大多都是基于Transformer的。
Gemini大模型引入全新的AI检测诈骗电话功能；请问Gemini大模型是什么？
2401_84909321的博客
07-08 320
Gemini大模型是由Google DeepMind（谷歌母公司Alphabet下设立的人工智能实验室）研发的一款人工智能多模态大模型，它于正式发布。
藏汉翻译通作为翻译软件的优势有哪些？
2401_85470246的博客
07-09 345
藏汉翻译通以其强大的功能、高准确率的翻译以及用户友好的设计，成为了促进藏汉语言交流的有力工具。：西藏高驰公司加大智能语音技术研发，不断完善藏语方言语料库，以保障翻译的高准确率。：软件具备文字互译、语音翻译、文本朗读等功能，并提供专业藏语语音及文字显示。：藏汉翻译通适用于公共安全、智慧医疗、智慧旅游、商业贸易、政务服务等多个领域。：藏汉翻译通利用了人工智能翻译和语音识别合成技术，提供智能藏文翻译服务。：藏汉翻译通界面简洁明了，功能丰富且操作简便，易于用户学习和使用。
matlab小波分析提取西储大学轴承数据集特征的代码
05-17
以下是使用小波分析提取西储大学轴承数据集特征的 Matlab 代码： ```matlab % 读取西储大学轴承数据集 load('12k_Drive_End_B007_0.mat'); x = X097_DE_time; % 选取一个传感器数据进行分析 % 小波分解 [c,l] = wavedec(x,6,'db4'); % 6 层小波分解，使用 db4 小波基函数 % 提取近似系数和细节系数 a6 = appcoef(c,l,'db4',6); % 6 层小波分解的近似系数 d6 = detcoef(c,l,6); % 6 层小波分解的细节系数 d5 = detcoef(c,l,5); % 5 层小波分解的细节系数 d4 = detcoef(c,l,4); % 4 层小波分解的细节系数 d3 = detcoef(c,l,3); % 3 层小波分解的细节系数 d2 = detcoef(c,l,2); % 2 层小波分解的细节系数 d1 = detcoef(c,l,1); % 1 层小波分解的细节系数 % 计算能量特征 Ea6 = sum(abs(a6).^2); Ed6 = sum(abs(d6).^2); Ed5 = sum(abs(d5).^2); Ed4 = sum(abs(d4).^2); Ed3 = sum(abs(d3).^2); Ed2 = sum(abs(d2).^2); Ed1 = sum(abs(d1).^2); % 计算均值特征 Ma6 = mean(abs(a6)); Md6 = mean(abs(d6)); Md5 = mean(abs(d5)); Md4 = mean(abs(d4)); Md3 = mean(abs(d3)); Md2 = mean(abs(d2)); Md1 = mean(abs(d1)); % 计算标准差特征 Sa6 = std(abs(a6)); Sd6 = std(abs(d6)); Sd5 = std(abs(d5)); Sd4 = std(abs(d4)); Sd3 = std(abs(d3)); Sd2 = std(abs(d2)); Sd1 = std(abs(d1)); % 输出特征值 fprintf('Ea6: %f\n', Ea6); fprintf('Ed6: %f\n', Ed6); fprintf('Ed5: %f\n', Ed5); fprintf('Ed4: %f\n', Ed4); fprintf('Ed3: %f\n', Ed3); fprintf('Ed2: %f\n', Ed2); fprintf('Ed1: %f\n', Ed1); fprintf('Ma6: %f\n', Ma6); fprintf('Md6: %f\n', Md6); fprintf('Md5: %f\n', Md5); fprintf('Md4: %f\n', Md4); fprintf('Md3: %f\n', Md3); fprintf('Md2: %f\n', Md2); fprintf('Md1: %f\n', Md1); fprintf('Sa6: %f\n', Sa6); fprintf('Sd6: %f\n', Sd6); fprintf('Sd5: %f\n', Sd5); fprintf('Sd4: %f\n', Sd4); fprintf('Sd3: %f\n', Sd3); fprintf('Sd2: %f\n', Sd2); fprintf('Sd1: %f\n', Sd1); ``` 需要注意的是，以上代码只提取了一个传感器的特征，如果需要提取整个数据集的特征，需要使用循环遍历每个传感器的数据。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值