![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
论文
文章平均质量分 77
第六五签
这个作者很懒,什么都没留下…
展开
-
UniRepLKNet_ A Universal Perception Large-Kernel ConvNet
大核卷积神经网络(ConvNets)最近受到了广泛的研究关注,但有两个尚未解决的关键问题需要进一步的研究。1)现有的大核卷积网的架构在很大程度上遵循了传统的卷积网或transformer的设计原则,而针对大核卷积网的架构设计仍未得到充分解决。2)由于transformer主导了多种模式,convnet是否在视觉之外的领域也具有很强的普遍感知能力仍有待研究。在本文中,我们从两个方面进行了贡献。原创 2024-03-12 09:59:20 · 403 阅读 · 0 评论 -
LORA_ LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
作者提出了低秩自适应,或称LoRA,它冻结了预先训练的模型权值,并将可训练的秩分解矩阵注入变压器架构的每一层,大大减少了下游任务的可训练参数的数量。学习到的过度参数化模型实际上存在于一个较低的内在维度上。作者假设模型适应过程中权重的变化也具有较低的“内在秩”,这导致了作者提出的低秩适应(LoRA)方法。LoRA允许作者通过优化适应过程中密集层变化的秩分解矩阵来间接训练神经网络中的一些密集层,同时保持预先训练的权值冻结,如图1所示。原创 2024-03-11 22:24:44 · 1090 阅读 · 0 评论 -
FLatten Transformer_ Vision Transformer using Focused Linear Attention
当将transformer模型应用于视觉任务时,自注意的二次计算复杂度(n2n^2n2)一直是一个持续存在的挑战。另一方面,线性注意通过精心设计的映射函数来近似Softmax操作,提供了一个更有效的替代方法。然而,当前的线性注意方法要么遭受显著的性能下降,要么从映射函数中引入额外的计算开销。在本文中,作者提出了一种新的聚焦线性注意模块,以实现高效率和表达性。具体来说,首先从聚焦能力和特征多样性两个角度分析了导致线性注意性能下降的因素。原创 2024-03-11 21:36:22 · 987 阅读 · 0 评论 -
FairTune:优化参数高效微调以实现医学图像分析的公平性
人工智能在医疗健康应用中的应用正在迅速增长。然而,人工智能模型一再被证明对不同的人口统计学亚群体表现出不必要的偏见——AI模型在由性别、种族、年龄和社会经济地位等方面处于弱势群体中提供了明显更差的表现。该论文认为深度学习模型在训练集中已经在本质上是公平的,在训练阶段不同群体是公平的(表现出相同的性能),但是因为模型在不同群体的泛化能力不同,导致在测试集和现实中存在不公平(表现出不同的性能),如下图所示。原创 2024-03-05 21:50:19 · 814 阅读 · 0 评论 -
状态空间模型(SSM)
术语状态空间模型具有非常广泛的含义,它简单地表示任何具有潜在状态的循环过程的概念。它已被用来指代不同学科中的许多不同概念,包括马尔可夫决策过程 (MDP)(强化学习(Hafner 等人,2020))、动态因果建模(DCM)(计算神经科学(Friston、Harrison 和 Penny 2003) ))、卡尔曼滤波器(控制(Kalman 1960))、隐马尔可夫模型(HMM)和线性动力系统(LDS)(机器学习)以及循环(有时是卷积)模型(深度学习)。原创 2024-02-26 11:36:20 · 6221 阅读 · 0 评论 -
组建有效的人类-AI团队(2023+Forming Effective Human-AI Teams: Building Machine Learning Models that Complemen)
在这种情况下,当机器学习模型难以预测某些实例时,将其推迟给单个人类专家可能是有利的。虽然以前的工作主要集中在一个不同的人类专家的场景,但在许多现实世界的情况下,可能会有几个具有不同能力的人类专家。通过与分配系统共同训练分类器,分类器学会准确预测人类专家难以预测的实例,而分配系统则学会将每个实例传递给最合适的团队成员——分类器或人类专家。我们在与“合成”专家的公共数据集和由多位放射科医生注释的真实医学数据集上的多个实验中评估了我们提出的方法。我们的方法优于之前的工作,比最好的人类专家或分类器更准确。原创 2023-08-15 22:55:54 · 491 阅读 · 0 评论 -
2023+HuggingGPT: Solving AI Tasks with ChatGPT and itsFriends in Hugging Face
我们在收到用户请求时使用ChatGPT进行任务规划,根据hug Face中提供的功能描述选择模型,使用所选择的AI模型执行每个子任务,并根据执行结果总结响应。利用ChatGPT强大的语言能力和hug Face丰富的AI模型,HuggingGPT能够覆盖不同模式和领域的众多复杂AI任务,并在语言、视觉、语音等具有挑战性的任务上取得令人印象深刻的成果,为人工通用智能的发展铺平了新的道路。原创 2023-08-15 21:40:13 · 1079 阅读 · 0 评论 -
生成智能体,人类行为的交互模拟(2023+Generative Agents: Interactive Simulacra of Human Behavior)
生成代理为交互式应用程序创建可信的人类行为模拟。在这项工作中,我们通过填充沙盒环境来展示生成代理,让人想起模拟人生,有25个代理。用户可以作为代理进行观察和干预,他们可以计划自己的一天、分享新闻、建立关系和协调小组活动。原创 2023-08-10 23:11:37 · 325 阅读 · 0 评论 -
SAM在医学图像分割的一些研究(Segment Anything Model for Medical Images?(2023))
SAM在医学分割的研究原创 2023-08-03 21:19:52 · 564 阅读 · 0 评论 -
添加三种提示SAM对医学图像分割的影响(2023+SAM on Medical Images: A Comprehensive Studyon Three Prompt Modes)
为了评估SAM是否有潜力成为医学图像分割任务的基础模型,我们收集了超过12个涵盖各种器官和形态的公共医学图像数据集。我们还探讨了在不同的模式下,什么样的提示可以导致最佳的零射击性能。此外,我们发现一个模式表明,盒大小的扰动将显著改变预测精度。最后,大量的实验表明,预测的掩码质量在不同的数据集之间差异很大。向SAM提供适当的提示(如边界框)将显著提高其性能。原创 2023-08-03 20:45:34 · 382 阅读 · 0 评论 -
Med-PaLM M走向通用医学AI(2023+Towards Generalist Biomedical AI)
医学本质上是多模式的,具有丰富的数据模式,包括文本、成像、基因组学等。灵活编码、集成和大规模解释这些数据的通才生物医学人工智能(AI)系统可以潜在地实现从科学发现到医疗服务等有影响力的应用。原创 2023-08-03 00:05:43 · 613 阅读 · 0 评论 -
MedLSAM将SAM应用于3D医学图像分割(2023+MedLSAM: Localize and Segment AnythingModel for 3D Medical Images)
SAM (Segment Anything Model)是近年来出现的一种具有开创性的图像分割模型。然而,原始的SAM和它的医疗适应性都需要逐片注释,这直接增加了注释工作负载和数据集的大小。本研究提出MedLSAM来解决这个问题,确保无论数据集大小如何都有恒定的注释工作负载,从而简化了注释过程。原创 2023-08-02 23:11:53 · 1154 阅读 · 0 评论 -
使用adapter微调SAM应用于医学图像(2023+Medical SAM Adapter: Adapting SegmentAnything Model for Medical Image)
本文采用一种简单而有效的自适应技术,将医学特定领域的知识集成到分割模型中,而不是对SAM模型进行微调。虽然这项工作仍然是少数将流行的NLP技术适配器转移到计算机视觉案例中的一个,但这个简单的实现在医学图像分割上显示出惊人的良好性能。我们称之为医学SAM适配器(medical SAM Adapter, MSA)的医学图像,在包括CT、MRI、超声图像、眼底图像和皮肤镜图像在内的19种不同图像模式的医学图像分割任务中表现出优异的性能。原创 2023-08-01 23:19:47 · 1916 阅读 · 0 评论 -
MedSAM通用医学分割基础模型(2023+Segment Anything in Medical Images)
MedSAM,这是为通用医学图像分割设计的首个基础模型。利用包含超过一百万张图像的精心策划的数据集的力量,MedSAM不仅优于现有的最先进的分割基础模型,而且表现出与专业模型相当甚至更好的性能。此外,MedSAM能够精确提取用于肿瘤负荷量化的基本生物标志物。原创 2023-08-01 19:55:03 · 3580 阅读 · 0 评论 -
探究SAM增强其他医学分割模型的(2023+Input Augmentation with SAM: BoostingMedical Image Segmentation with Segment)
本文表明,尽管SAM不能立即给出高质量的医学图像分割,但其生成的掩模、特征和稳定性分数对于构建和训练更好的医学图像分割模型是有用的。特别演示了如何使用SAM来增强常用医学图像分割模型(例如UNet)的图像输入。在两个数据集上的实验表明了该方法的有效性。原创 2023-07-31 23:36:47 · 410 阅读 · 0 评论 -
探究SAM和眼球追踪技术在自动医学图像分割的应用(2023+GazeSAM: What You See is What You Segment)
本研究探讨眼动追踪技术与SAM的潜力,以设计一个协同的人机交互系统,自动化医学图像分割。我们提出了GazeSAM系统,使放射科医生能够在图像诊断过程中通过简单地查看感兴趣的区域来收集分割掩模。该系统跟踪放射科医生的眼球运动,并利用眼球注视数据作为SAM的输入提示符,自动实时生成分割掩码。原创 2023-07-31 22:13:31 · 607 阅读 · 0 评论 -
探索SAM在二维医学成像中的zero-shot能力(2023+Exploring the Zero-Shot Capabilities of theSegment Anything Model)
这项研究中使用来自四种成像方式(x射线、超声、皮肤镜和结肠镜)的六个数据集的八种不同提示策略,评估了SAM 2D在医学成像中的零射击能力。结果表明,SAM的zero-shot是相当的,在某些情况下,优于目前最先进的技术。并且提出了一个实用的指导方针,它需要最小的交互,并在所有评估的环境中产生可靠的结果。原创 2023-07-31 21:23:47 · 674 阅读 · 0 评论 -
SAM分割息肉的性能评估(2023+Can SAM Segment Polyps)
息肉分割是医学影像领域的一项基础性工作,对结直肠癌的诊断和治疗起着至关重要的作用。特别是,将SAM应用于息肉分割任务非常有趣。在本报告中,评估了SAM在非提示设置下分割息肉的性能。这个项目公开在https://github.com/taozh2017/SAMPolyp原创 2023-07-30 22:19:28 · 889 阅读 · 0 评论 -
SAM在医学图像分割任务的精度分析(2023+Accuracy of Segment-Anything Model (SAM) inMedical Image Segmentation Tasks)
本文提出了任意分割模型(SAM)作为图像分割的基本模型。在本报告中,我们探讨了(1)SAM在12个公共医学图像分割数据集上的准确性,这些数据集涵盖了各种器官(脑、乳腺、胸部、肺、皮肤、肝脏、肠道、胰腺和前列腺)、图像形态(2D x射线、组织学、内窥镜检查、3D MRI和CT)和健康状况(正常、病变)。(2)计算机视觉基础分割模型SAM是否能为医学图像分割提供有前景的研究方向。我们发现,未经医学图像重新训练的SAM表现不如U-Net或其他医学图像训练的深度学习模型准确。原创 2023-07-30 21:10:49 · 1359 阅读 · 0 评论 -
Segment Anything Model (SAM)
我们介绍了任何片段(SA)项目:一个新的任务,模型和数据集的图像分割。在数据收集循环中使用我们的高效模型,我们建立了迄今为止(到目前为止)最大的分割数据集,在1100万张许可和尊重隐私的图像上拥有超过10亿个掩模。该模型被设计和训练为提示,因此它可以将零拍摄转移到新的图像分布和任务。我们评估了它在许多任务中的能力,发现它的零射击性能令人印象深刻-通常与之前的完全监督结果相竞争甚至优于。我们在https://segment-anything.com上发布了包含1B个掩模和11M张图像的分段任意模型(SAM)和原创 2023-07-30 20:41:40 · 128 阅读 · 0 评论 -
MentalBERT:Publicly Available Pretrained Language Models for Mental Healthcare(2020 心理健康预训练模型)
心理健康领域的预训练模型,不支持中文原创 2023-07-19 00:08:20 · 182 阅读 · 0 评论 -
Detection of Suicide Ideation in Social Media ForumsUsing Deep Learning(2020 自杀意图早期检测CNN+LSTM)
通过应用于Reddit社交媒体的深度学习和基于机器学习的分类方法来解决自杀意念的早期检测问题。为此,我们采用LSTM-CNN组合模型来评估和比较其他分类模型。实验表明,将神经网络结构与词嵌入技术相结合可以获得最佳的相关分类结果。此外,我们的研究结果支持深度学习架构在各种文本分类任务中建立有效的自杀风险评估模型的优势和能力。原创 2023-07-19 00:02:11 · 102 阅读 · 0 评论 -
Natural language processing applied to mental illness detection: a narrative review(2022 精神疾病检测综述)
神疾病是一种复杂的多因素疾病,与个体危险因素和各种社会经济、临床相关。为了捕捉各种文本数据(包括社交媒体帖子、访谈和临床记录)中表达的这些复杂关联,自然语言处理(NLP)方法展示了有希望的改进,可以增强主动心理保健和协助早期诊断。本文对近十年来运用自然语言处理进行精神疾病检测的方法、趋势、挑战和未来发展方向进行了综述。共纳入了10467份记录中的399项研究。回顾发现,精神疾病检测的NLP研究有上升趋势。深度学习方法比传统的机器学习方法更受关注,性能也更好。原创 2023-07-18 23:18:04 · 215 阅读 · 0 评论 -
Suicidal Ideation Detection: A Review ofMachine Learning Methods and Applications(2020 自杀意念检测,综述)
目前的自杀意念检测方法包括基于社会工作者或专家与目标个体互动的临床方法,以及基于在线社交内容的特征工程或深度学习自动检测的机器学习技术。根据其数据来源,即调查问卷、电子健康记录、自杀遗书和在线用户内容,审查了特定领域的自杀意念检测应用。原创 2023-07-18 21:23:00 · 251 阅读 · 0 评论 -
Towards Data-and Knowledge-Driven AI: A Survey on Neuro-Symbolic Computing(2022,综述)
神经符号计算(Neural-symbolic computing, NeSy)是多年来人工智能(AI)研究的一个活跃领域,它追求认知的符号范式和统计范式的融合。由于NeSy有望将符号表示的推理和可解释性的优势与神经网络中的强大学习相协调,它可能会成为下一代人工智能的催化剂。原创 2023-07-16 11:40:36 · 285 阅读 · 1 评论 -
Backpack Language Models(ACL2023)
backpack是一种新提出的尝试替换transformer的新型模型,它是可解释的(非神经网络内在解释)、可干预的。backpack将单词转化为与上下文无关的意义向量,并通过加权和将它们聚合起来,从而允许进行精确的、可预测的干预。原创 2023-07-15 22:28:05 · 398 阅读 · 1 评论 -
Visual Programming: Compositional visual reasoning without training(CVPR2023)
研究者们提出了一种基于神经符号结合的新方法:VISPROG。利用提示学习中的上下文学习,使用GPT-3生成类似python的程序,这些程序通过调用现有的模型(比如CLIP、ViLT或者python库等,论文中成为模块)用来解决视觉各种任务。该方法是可解释的、可干预的,可以用于多种任务处理。原创 2023-07-15 21:18:18 · 544 阅读 · 1 评论