![](https://img-blog.csdnimg.cn/20190918140213434.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Life+ AI
文章平均质量分 84
生命科学领域中的 人工智能
ZhengXinTang
习重要! 学而实习之, 才叫学习!
只学而不习, 不实践, 这叫本末倒置, 丢了大头顾小头;
因缘际会,所有巧合即为 和合事物;
当一个人悄悄的在反省时,努力时,改过时, 命运的齿轮便被他转动了。
展开
-
斯坦福开发AI算法,衡量人体器官衰老预测疾病和死亡
原文来自于 EDesk目录【Nature】血浆蛋白质组中的器官衰老特征追踪健康和疾病0 基本信息1 摘要2 导读3 血浆蛋白可以模拟器官衰老4 器官年龄预测健康和疾病5 大脑老化与认知能力下降和AD2 0 24 年0 基本信息标题: Organ aging signatures in the plasma proteome track health and disease期刊: NatureDOI: https://doi.org/10.1038/s41586-023-06802-1动物研究表明,衰老在个体转载 2024-01-20 18:07:26 · 242 阅读 · 0 评论 -
基于大型语言模型的医学图像交互式计算机辅助诊断
本文目标是将 LLM 的医学领域知识和逻辑推理的优势与现有医学图像 CAD 模型的视觉理解能力相结合,为患者创建一个比传统 CAD 系统更加用户友好和易于理解的系统。传统的计算机辅助诊断网络模型是基于各种计算机视觉的先进算法在大量数据上进行训练,使他们能够学习识别特定于医学领域的视觉信息中的复杂模式和关系,在医学领域的各个任务中已取得了显著性地效果。随着语言模型的不断进步,随着对更可信的医疗培训数据的访问,ChatCAD变得更加准确,ChatCAD有潜力显著提高在线医疗服务的质量。需要更好的数据集和基准。转载 2024-01-20 18:02:50 · 176 阅读 · 0 评论 -
TCBB|用于预测miRNA-疾病关联的深度学习方法综述:数据库、计算方法、挑战和未来方向(综述)
基于深度学习的MDA预测方法越来越多。然后,我们全面回顾了现有的48种基于深度学习的MDA计算方法,将它们分为经典的深度学习和基于图神经网络的技术。最后,讨论了不同计算方法的性能趋势,指出了目前研究中存在的问题,并提出了未来可能的9个研究方向。(2)这篇综述采用了和lncRNA-miRNA的综述相似的风格来写的:1)单独简述了每个计算方法,并给出了关键公式。(1)前年在写该篇文章的过程中发现陈兴老师发表了三篇关于MDA的综述,分别从数据库,计算方法、评价指标三个维度重新总结并更新了当下关于MDA的发展。转载 2024-01-11 09:17:35 · 222 阅读 · 0 评论 -
多视图聚类的论文阅读(一)
当聚类的方式使用的是某一类预定义好的相似性度量时, 会出现如下情况:数据聚类方面取得了成功,但它们通常依赖于预定义的相似性度量,而这些度量受原始方法的影响:当输入维数相对较高时,往往是无效的。原创 2023-11-15 20:18:47 · 1062 阅读 · 0 评论 -
ai_drive67_基于不确定性的多视图决策融合
论文链接:https://openreview.net/forum?代码链接:https://github.com/hanmenghan/TMC。原创 2023-10-15 17:58:52 · 285 阅读 · 0 评论 -
ai_drive42_如何兼容一致性和互补性?多模态融合基础问题及算法解析
张长青,天津大学智能与计算学部副教授、博士生导师,入选天津大学北洋学者-青年骨干教师计划。主要研究方向为机器学习、计算机视觉、医学图像分析。主要成果发表在国际期刊(IEEE TPAMI/IJCV等)及CCF- A类会议。多篇论文入选NIPS/CVPR等顶级会议的Spotlight和Oral论文。本文内容整理自直播间第 67 期分享。点击文末“阅读原文”可跳转至B站收看本期及往期分享完整视频。如需配套ppt,请通过公众号回复关键词“ppt”或点击对话框工具栏按钮获取。一、多模态融合研究背景多模态融合是非常关键原创 2023-10-15 11:46:09 · 885 阅读 · 0 评论 -
基于自然语言处理的多模态模型_综述
论文链接:https://arxiv.org/pdf/2306.13549.pdf项目链接(实时更新最新论文,已获1.8K Stars):https://github.com/BradyFU/Awesome-Multimodal-Large-Language-Models。原创 2023-06-29 19:04:47 · 1196 阅读 · 0 评论 -
基于肺部图片与文本信息的多模态模型架构
结合最新的自然语言处理技术和图像识别技术,IRENE可以在医学诊断中起到重要的作用。它通过统一的多模态诊断Transformer和双向多模态注意力机制,渐进学习多模态临床数据的整体表征,放弃了单独学习各种模态特征的技术路线。在现实世界中,IRENE可以帮助简化患者护理流程,如患者分流和区分普通感冒患者与需要紧急干预的严重情况患者。此外,在诊断不确定或复杂的情况下,IRENE还可以作为医生的辅助工具,提供诊断建议,进一步增强医生的判断能力。除此之外,IRENE在医疗资源匮乏的地区具有重要价值。原创 2023-06-29 18:32:37 · 701 阅读 · 0 评论 -
医疗多模态大模型
记录各个医疗领域中的各个多模态大模型;原创 2023-06-29 17:36:50 · 1239 阅读 · 0 评论 -
肺癌的成因
肺癌是指一侧或双侧肺组织中异常细胞的不受控制的生长,这种细胞具有发展为恶性肿瘤的性质。肺癌可以存在于气管(支气管)或海绵状肺组织(肺泡)中。肺癌也可能是由从身体另一部分扩散而来的癌症引起的,但这些癌症本身并不被认为是肺癌。肺癌是指一侧或双侧肺组织中异常细胞的不受控制的生长,这种细胞具有发展为恶性肿瘤的性质。肺癌可以存在于气管(支气管)或海绵状肺组织(肺泡)中。肺癌也可能是由从身体另一部分扩散而来的癌症引起的,但这些癌症本身并不被认为是肺癌。原创 2023-06-29 11:00:59 · 167 阅读 · 0 评论 -
肺部的音频数据集
COUGHVID 数据集提供了 20,000 多个众包咳嗽录音,代表了广泛的受试者年龄、性别、地理位置和 COVID-19 状态。首先,使用开源咳嗽检测算法对数据集进行过滤。其次,经验丰富的肺科医生标记了 2000 多个录音,以诊断咳嗽中存在的医学异常,从而贡献了现有最大的专家标记咳嗽数据集之一,可用于大量咳嗽音频分类任务。原创 2023-06-24 16:05:13 · 779 阅读 · 0 评论 -
自监督学习简介
自监督学习是可以看做是一种特殊的无监督学习的一个子类别(但并非无监督学习),因为它利用了未标记的数据。原创 2023-06-23 15:57:55 · 8059 阅读 · 0 评论 -
多模态简介
多模式深度学习是一个子领域,旨在训练人工智能模型来处理和发现不同类型数据(模式)之间的关系——通常是图像、视频、音频和文本。通过结合不同的模态,深度学习模型可以更普遍地理解其环境,因为某些线索仅存在于某些模态中。想象一下情绪识别的任务。它不仅仅是看一张人脸(视觉模态)。一个人的声音(音频模态)的音调和音高编码了大量关于他们情绪状态的信息,这些信息可能无法通过他们的面部表情看到,即使他们经常是同步的。原创 2023-06-19 19:06:08 · 24519 阅读 · 0 评论 -
多模态特征融合-图像、语音、文本
学习多模态的话题可以从深度学习的分类任务出发,因为分类任务是最直观的可以观察到不同模态的数据,通过输入数据到模型中,我们可以看到模型是如何学习到数据的特征向量的,同时分类任务的模型也是实现更复杂任务模型的基础。从分类任务中可以了解到图像、文本、语音在模型的特征向量是什么。以飞浆的多模态视频分类模型为例,这个模型基于真实的短视频业务数据,融合文本、视频图像、音频三种模态进行视频多模标签分类,相比只使用视频图像特征,显著提升了高层语义标签的效果。翻译 2023-06-17 21:08:36 · 5113 阅读 · 0 评论 -
多模态深度学习方法简介
模态联合学习是一种将多个模态的信息融合在一个模型中进行联合训练的方法。跨模态学习是一种将一个模态的特征转换为另一个模态的特征表示的方法。多模态自监督学习是一种无需标注数据,通过模型自身学习来提取多个模态的特征的方法。翻译 2023-06-17 18:20:01 · 972 阅读 · 0 评论 -
AIGC大模型与多模态的概念
多模态是指涉及多种感官模态(如视觉、听觉、语言等)的信息,通过多种媒体形式进行表达和传递。在现实世界中,人们接收和理解信息的方式往往是多模态的,通过同时获取不同感官的输入,融合多种信息来源来构建对世界的认知。多模态数据能够提供更丰富、全面和准确的信息,因此在生成模型中具有重要的作用。将AIGC和大模型与多模态相结合,可以进一步提升系统的能力,实现更复杂、多样化的内容生成和理解任务。翻译 2023-06-17 17:13:17 · 2838 阅读 · 0 评论 -
Opencv图像处理常用算法方法汇总
在上面的代码中,首先定义了 Sobel 和 Scharr 算子的卷积核。然后将图像转换为 PyTorch 张量,并使用 F.conv2d() 函数应用 Sobel 和 Scharr 算子。最后,通过计算梯度幅值,可以得到最终的梯度图像。需要注意的是,使用 PyTorch 实现 Sobel 和 Scharr 算子时,需要将卷积核转换为 PyTorch 张量,并使用 F.conv2d() 函数进行卷积操作。在 PyTorch 中,可以通过使用卷积操作来实现 Sobel 和 Scharr 算子。原创 2023-03-29 10:45:25 · 661 阅读 · 0 评论 -
图像处理中sobel, scharr 算子
在图像增强过程中,通常利用各类图像平滑算法消除噪声,图像的常见噪声主要有加性噪声、乘性噪声和量化噪声等。一般来说,图像的能量主要集中在其低频部分,噪声所在的频段主要在高频段,同时图像边缘信息也主要集中在其高频部分。这将导致原始图像在平滑处理之后,图像边缘和图像轮廓模糊的情况出现。为了减少这类不利效果的影响,就需要利用图像锐化技术,使图像的边缘变得清晰。原创 2023-03-28 09:30:43 · 297 阅读 · 0 评论 -
肺部的医疗数据集
医学图像领域中的COVID-19影像的公开数据集。原创 2022-12-20 15:07:31 · 1971 阅读 · 0 评论 -
多模态在医疗中的应用
多模态是把要检索的模态融合起来,做整体的检索,查询和检索的必须至少有一个模态是相同的,也就是要查询和检索的模态都已经在融合模态里了。跨模态是检索结果和查询的模态是不同,如图像检索文本,视频和音频。跨模态检索的关键在于对不同模态的关系进行建模,难点就是语义对齐。原创 2022-12-17 10:56:46 · 2867 阅读 · 0 评论