- 博客(4811)
- 收藏
- 关注
转载 大模型在开放智能体场景中能意识到风险威胁吗?上海交大发布R-Judge安全评测...
本文约3500字,建议阅读8分钟本文介绍了单细胞多组学数据马赛克整合。01 引言:大模型智能体安全以 GPT-4 [2]为代表的大模型在推理、决策、指令遵循等方面展现出了强大的能力[10],驱动了自主智能体迅猛发展。大模型智能体配备了工具调用和与环境交互的能力,在系统操控、智能助理、科学发现、群体协作等领域形成了代表性应用[3]。然而,在复杂环境中交互运行时,智能体可能造成意外的安全问题...
2024-03-18 17:01:23 6
转载 【博士论文】神经语言模型的参数效率
来源:专知本文为论文介绍,建议阅读5分钟本论文旨在提高这些模型的参数效率,寻求最小化存储需求、加速推理和适应,并增强泛化能力。近年来,预训练的神经语言模型在各种自然语言理解和生成任务上取得了显著的能力。然而,将这些模型扩展到包含数十亿参数的趋势,虽然增强了适应性和新出现的能力,但也因其庞大的规模带来了显著的部署挑战。这些挑战包括对模型存储和实际部署的推理延迟的限制、任务适应所需的密集时间和计算成...
2024-03-18 17:01:23 5
转载 深度!图解神经网络的数学原理
来源:算法进阶本文约3000字,建议阅读8分钟本文将帮助大家理解一些在学习过程中可能会感到困惑的概念。如今,熟练使用像Keras、TensorFlow 或 PyTorch 之类的专用框架和高级程序库后,我们不用再经常费心考虑神经网络模型的大小,或者记住激活函数和导数的公式什么的。有了这些库和框架,我们创建一个神经网络,哪怕是架构很复杂的网络,往往也只是需要几个导入和几行代码而已...
2024-03-18 17:01:23 5
转载 【CVPR2024】ViewDiff: 3D一致的图像生成与文本到图像模型
来源:专知本文为论文介绍,建议阅读5分钟在这篇论文中,我们提出了一种方法,利用预训练的文本到图片模型作为先验,并学习在单一去噪过程中从真实世界数据生成多视图图像。3D资产生成正在受到大量关注,这一趋势受到了最近文本引导的2D内容创造成功的启发。现有的文本到3D方法使用预训练的文本到图片扩散模型在一个优化问题中使用或对其在合成数据上进行微调,这通常会导致非真实感的3D对象而没有背景。在这篇论文中,...
2024-03-17 17:01:18 9
转载 彻底理解傅里叶变换!
来源:机器学习实战本文约3100字,建议阅读10分钟本文为你清晰通俗地介绍傅里叶变换,通过大量的动画不但告诉你傅里叶变换是什么以及能干什么。今天分享一篇关于傅立叶变换理解的文章,开局一张图。这篇文章可以说是介绍傅里叶变换最清晰通俗的,没有之一,直接把你当做小学生来讲,通过大量的动画不但告诉你傅里叶变换是什么,还告诉你傅里叶变换能干什么。难能可贵的是,你可以通过手动绘制图案和拖动滑块来加深读傅里...
2024-03-17 17:01:18 10
转载 北师大研究团队建立 ECA-Net 模型,预测中国未来 70 年的风能利用潜力
本文约3400字,建议阅读7分钟本世纪我国风能密度将呈现轻微下降。作者:梅菜编辑:李宝珠,三羊来自北京师范大学环境学院的研究团队建立了 ECA-Net 降尺度模型,并利用 2006 年至 2010 年的数据对建立的模型进行验证,进而预测我国本世纪的风能利用潜力。从暴雨、洪涝、干旱、飓风、森林火灾等气候极端事件频率的增加,到极地冰川融化导致的海平面上升,再到生物多样性的丧失和水资源压力的加剧,全球...
2024-03-17 17:01:18 12
转载 【博士论文】元学习算法与应用
来源:专知本文为论文介绍,建议阅读5分钟我们研究的一个关键重点是显著提高元学习的效率。我们发展了两种方法:EvoGrad和PASHA,两者在两种常见场景中显著提高了元学习效率。在更广泛的背景下,元学习关注的是一个智能体如何了解自己的学习过程,从而改进其学习过程。学习如何学习不仅对人类有益,而且也显示出对改进机器学习方式的巨大好处。在机器学习的背景下,元学习使模型能够通过选择影响学习的适当元参数...
2024-03-16 17:01:27 15
转载 自主研发!军事医学研究院团队提出 MIDAS,可用于单细胞多组学数据马赛克整合...
本文约3500字,建议阅读8分钟本文介绍了单细胞多组学数据马赛克整合。军事医学研究院应晓敏团队和伯晓晨团队,提出了一种用于单细胞多组学数据马赛克式整合及知识迁移的计算工具 MIDAS,首次实现了通用的单细胞多组学马赛克数据的模态对齐、数据补全、批次校正等整合功能。众所周知,细胞是生命体的最小组成单位,人体内含有 40-60 万亿个细胞,构成了我们生长、发育的基础,在单细胞层面开展研究对于精确理解...
2024-03-16 17:01:27 9
原创 原创 | MOPRD多学科公开同行评审数据集
作者:林嘉亮本文约3500字,建议阅读8分钟本文介绍了MOPRD多学科公开同行评审数据集。传统的同行评审基于匿名机制构建。在这种机制下,审稿人的身份和审稿报告都不会向公众披露。然而,匿名机制并不利于同行评审的发展。作为对存在缺陷的匿名机制的一种改良方式,公开同行评审机制被引入到了学术出版中。公开同行评审释放了大量的同行评审数据,为计算机辅助同行评审和进一步实现学术论文自动审稿(Automated...
2024-03-16 17:01:27 560
转载 【CVPR2024】超越文本:在视觉信号理解中冻结的大型语言模型
来源:专知本文为论文介绍,建议阅读5分钟我们提出了视觉到语言的分词器,简称为V2T分词器,该分词器借助编解码器、LLM词汇表和CLIP模型的综合帮助,将图像转换为“外国语言”。在这项工作中,我们探讨了大型语言模型(LLM)直接理解视觉信号而无需在多模态数据集上进行微调的可能性。我们方法的基础概念将图像视为一种语言实体,并将其翻译为源自LLM词汇表的一组离散单词。为实现这一点,我们提出了视觉到语言...
2024-03-15 17:03:46 8
转载 RNN又行了!DeepMind新发布的Griffin可以与同级别的LLM性能相当
来源:DeepHub IMBA本文约2000字,建议阅读5分钟DeepMind新发布的Griffin可以与同级别的LLM性能相当。Hawk和Griffin是DeepMind推出的新型循环神经网络(RNNs),2月刚刚发布在arxiv上。Hawk通过使用门控线性递归(gated linear recurrences)超越了Mamba的性能,而Griffin则是一种混合型模型,结合了门控线性递归...
2024-03-15 17:03:46 16
原创 原创 | 一文读懂高斯过程
作者:贾恩东本文约2700字,建议阅读9分钟本文将使用通俗易懂的语言引导读者入门高斯过程。高斯过程(Gaussian Process)是机器学习中一个相当基础的概念,本文中笔者将使用通俗的语言让读者入门高斯过程。高斯过程,顾名思义,包含了高斯分布(Gaussian Distribution)和随机过程(Stochastic Process)。简单来说,高斯过程是一个无限维的高斯分布。无限维,对...
2024-03-15 17:03:46 780
转载 LLaMA-2-7B数学能力上限已达97.7%?Xwin-Math利用合成数据解锁潜力
来源:机器之心本文约1600字,建议阅读5分钟合成数据持续解锁大模型的数学推理潜力!数学问题解决能力一直被视为衡量语言模型智能水平的重要指标。通常只有规模极大的模型或经过大量数学相关预训练的模型才能有机会在数学问题上表现出色。近日,一项由 Swin-Transformer 团队打造,来自西安交通大学、中国科学技术大学、清华大学和微软亚洲研究院的学者共同完成的研究工作 Xwin 颠覆了这一认知,...
2024-03-15 17:03:46 11
转载 【博士论文】拓扑空间上的信号处理与学习
来源:专知本文为论文介绍,建议阅读5分钟本论文的目的是介绍一系列特别设计的信号处理方法论,用于建模、解释和学习在拓扑空间内结构化的数据。本论文的目的是介绍一系列特别设计的信号处理方法论,用于建模、解释和学习在拓扑空间内结构化的数据。这些空间大致被描述为一组点及点之间的邻域概念。在此讨论的方法和工具,当应用于在组合拓扑空间(如单元复合体)上定义的信号,或在展示非平凡属性的度量空间内(如具有非平坦度...
2024-03-14 17:04:49 16
转载 准确率达 91.74%!东南大学提出光伏电池缺陷检测模型,首次引入神经结构搜索...
本文约7000字,建议阅读14分钟本文介绍了一种光伏电池 EL 图像缺陷检测模型,该模型基于神经结构搜索和知识蒸馏,准确率高达 91.74%。东南大学研究团队提出了一种光伏电池 EL 图像缺陷检测模型,该模型基于神经结构搜索和知识蒸馏,准确率高达 91.74%。乘着从全球吹来的「绿色发展、低碳转型」东风,光伏 (photovoltaic, PV) 产业自进入 21 世纪以来,便以令世人惊叹的速度...
2024-03-14 17:04:49 10
转载 展望数据架构2024:二级火箭尚未脱离,三级火箭已经点火
作者:关涛本文约7000字,建议阅读10+分钟本文从系统架构角度,回顾了2021年预测的结果,总结了2021-2023年数据平台的三个演进热点,未来的三个发展趋势,以及三个未解的难题。编者按在过去的两年,数据架构领域发生了很多重大变化(很多是拐点级变化),例如大模型技术突破、向量检索成为热点、半/非结构化类Dark Data开始被关注等等。作为数据平台从业者,笔者经常被问到“下一代数据平台发展...
2024-03-14 17:04:49 14
转载 LLM 加速技巧:Muti Query Attention
来源:DeepHub IMBA本文约3000字,建议阅读9分钟MQA 是一种19 年提出的 新型 Attention 机制,可同时保证模型效果和加快生成速度。MQA 是 19 年提出的一种新的 Attention 机制,其能够在保证模型效果的同时加快 decoder 生成 token 的速度。在大语言模型时代被广泛使用,很多LLM都采用了MQA,如Falcon、PaLM、StarCoder等。...
2024-03-13 17:06:57 23
转载 OpenAI开源了:Transformer自动debug工具上线GitHub
来源:机器之心本文约1000字,建议阅读5分钟不用敲代码,就可以快速探索模型结构。最近时常被吐槽不够开源的 OpenAI,突然开放了一次。近期,OpenAI 机器学习研究员 Jan Leike 宣布,OpenAI 开放了自己内部一直用于分析 Transformer 内部结构的工具。GitHub 链接:https://github.com/openai/transformer-debugger该...
2024-03-13 17:06:57 20
转载 报名 | “数智互联”创新产业与研学论坛
论坛导语党的二十大报告指出,“必须坚持科技是第一生产力、人才是第一资源、创新是第一动力”,要“加快发展数字经济,促进数字经济和实体经济深度融合,打造具有国际竞争力的数字产业集群。”随着国家“十四五”规划的逐步落实,大数据、AI、区块链与元宇宙等前沿数字经济领域产业发展达到了前所未有的速度。本次论坛活动致力于搭建集学术交流与创新分享于一体的国际化平台,连接全球领先的科技企业、知名学术机构和具有创新思...
2024-03-13 17:06:57 13
转载 【新书】大语言模型手册:语言理解与生成
来源:专知本文为书籍介绍,建议阅读5分钟通过这本书,Python开发者将学习到使用这些能力所需的实用工具和概念。在过去的几年里,人工智能在语言能力方面取得了惊人的新进展。由深度学习的快速进步所推动,语言AI系统在编写和理解文本方面的能力比以往任何时候都要好。这一趋势促成了新功能、产品乃至整个行业的崛起。通过这本书,Python开发者将学习到使用这些能力所需的实用工具和概念。你将学习如何利用预训...
2024-03-13 17:06:57 14
转载 Sora背后的技术,最新《可控生成与文本到图像扩散模型》综述
来源:专知本文约3000字,建议阅读5分钟在这个综述中,我们对可控生成与T2I扩散模型的文献进行了全面调研,涵盖了这一领域的理论基础和实践进展。在迅速发展的视觉生成领域中,扩散模型革命性地改变了景观,以其令人印象深刻的文本引导生成功能标志着能力的重大转变。然而,仅依赖文本来条件化这些模型并不能完全满足不同应用和场景的多样化和复杂需求。认识到这一不足,多项研究旨在控制预训练的文本到图像(T2I)模...
2024-03-12 17:04:02 16
转载 如何检验数据异常?
来源:pythonic生物人本文约7000字,建议阅读14分钟本文教你如何检验数据异常。一、基于分布的方法1. 3sigma基于正态分布,3sigma准则认为超过3sigma的数据为异常点。图1: 3sigmadef three_sigma(s): mu, std = np.mean(s), np.std(s) lower, upper = mu-3*std, mu+3*std...
2024-03-12 17:04:02 19
转载 Vision Transformers的注意力层概念解释和代码实现
来源:DeepHub IMBA本文约4000字,建议阅读10+分钟本文将深入探讨注意力层在计算机视觉环境中的工作原理。2017年推出《Attention is All You Need》以来,transformers 已经成为自然语言处理(NLP)的最新技术。2021年,《An Image is Worth 16x16 Words》,成功地将transformers 用于计算机视觉任务。从那时...
2024-03-12 17:04:02 18
转载 亚马逊工程师严选,超 40 篇 LLM 论文汇总
本文约8500字,建议阅读16分钟本文为你分享语言模型论文阅读清单,持续分享前沿论文,汇总了 40 余篇高质量论文。亚马逊工程师 Eugene Yan 等人建立了一个语言模型论文阅读清单,持续分享前沿论文,目前已经汇总了 40 余篇高质量论文。2023 年,大语言模型依旧是「话题制造机」,不管是 OpenAI 的「宫斗剧」,还是各个大厂的新模型、新产品「神仙打架」,亦或是行业大模型发展的风生水起...
2024-03-11 18:34:41 9
转载 教授何恺明领衔MIT《计算机视觉进展》课,附Slides与视频
来源:专知 机器之心本文约500字,建议阅读5分钟MIT《计算机视觉》课程,何恺明等领衔讲授,不可错过!700 座的大教室,相比去年增加一倍容量,仍然座无虚席:这就是麻省理工学院(MIT)计算机视觉课《Advances in Computer Vision》6.8300 在 2024 新学期的盛况。今年是四位教授,每人负责一部分课程:课程信息:https://advances-in-visio...
2024-03-11 18:34:41 31
转载 清华 IEDE 公开课 | Seminar of Prof. em. Warren B Powell
当代序列决策问题涵盖了动态资源分配问题、控制问题、最优停止/买卖问题、主动学习问题,以及双代理人博弈和多代理人问题等多个方面,可应用在在交通、医疗决策、金融等场景。在周二的课程中,我们将使用多种建模和算法框架,重点关注该问题在供应链管理中的解决和应用,欢迎参加本次讲座。嘉宾介绍SpeakerWarren B Powell is Professor Emeritus at Princ...
2024-03-11 18:34:41 8
转载 线性回归?逻辑回归?各种回归的概念你究竟了解多少
来源:数学中国本文约4000字,建议阅读8分钟本文将带你了解各种回归的概念。回归问题的条件/前提:1) 收集的数据2) 假设的模型,即一个函数,这个函数里含有未知的参数,通过学习,可以估计出参数。然后利用这个模型去预测/分类新的数据。1、线性回归假设特征和结果都满足线性。即不大于一次方。这个是针对收集的数据而言。收集的数据中,每一个分量,就可以看做一个特征数据。每个特征至少对应一个未知的参数。...
2024-03-11 18:34:41 10
转载 2024年清华大学大数据研究中心 | 招募夏季学期《大数据实践课》合作项目
一、大数据研究中心简介清华大学大数据研究中心于2018年9月成立,是清华大学建设世界一流大学、鼓励大数据领域学科交叉的重要举措,是深入推进科研体制机制改革的重要里程碑。大数据研究中心发挥清华大学多学科的优势,面向全球数字经济转型的迫切需求,服务国家大数据发展战略,聚焦信息科技前沿,促进数据科学理论、大数据技术与大数据领域应用等多个层次的深度交叉与融合发展,建设国际数据科学与大数据技术创新研究平台,...
2024-03-10 17:00:17 15
转载 可视化FAISS矢量空间并调整RAG参数提高结果精度
来源:DeepHub IMBA本文约3600字,建议阅读7分钟本文我们将使用可视化库renumics-spotlight在2-D中可视化FAISS向量空间的多维嵌入,并通过改变某些关键的矢量化参数来寻找提高RAG响应精度的可能性。随着开源大型语言模型的性能不断提高,编写和分析代码、推荐、文本摘要和问答(QA)对的性能都有了很大的提高。但是当涉及到QA时,LLM通常会在未训练数据的相关的问题上有所...
2024-03-10 17:00:17 11
转载 信号系统之傅里叶变换属性
来源:我不爱机器学习本文约9000字,建议阅读15分钟本文将带你了解傅里叶变换属性。1 傅里叶变换的线性度傅里叶变换是线性的,即具有均匀性和可加性的性质。对于傅里叶变换家族的所有四个成员(傅里叶变换、傅里叶级数、DFT 和 DTFT)都是如此。图 10-1 提供了一个示例,说明均匀性如何成为傅里叶变换的一个属性。图(a)显示了任意时域信号,相应的频谱如(b)所示。将这两个信号分别称为:x[] ...
2024-03-10 17:00:17 11
转载 【CVPR2024】通过丰富的监督增强视觉-语言预训练
来源:专知本文为论文介绍,建议阅读5分钟我们提出了一种新颖的预训练范式——强监督截屏预训练(S4),用于视觉-语言模型,该模型使用来自大规模网页截屏渲染的数据。我们提出了一种新颖的预训练范式——强监督截屏预训练(S4),用于视觉-语言模型,该模型使用来自大规模网页截屏渲染的数据。使用网页截屏可以解锁视觉和文本提示的宝库,这些提示在使用图像-文本对时不存在。在S4中,我们利用HTML元素的固有树...
2024-03-10 17:00:17 16
转载 机器学习中的10种非线性降维技术对比总结
本文约3800字,建议阅读6分钟本文介绍了机器学习中的10种非线性降维技术。降维意味着我们在不丢失太多信息的情况下减少数据集中的特征数量,降维算法属于无监督学习的范畴,用未标记的数据训练算法。尽管降维方法种类繁多,但它们都可以归为两大类:线性和非线性。线性方法将数据从高维空间线性投影到低维空间(因此称为线性投影)。例子包括PCA和LDA。非线性方法提供了一种执行非线性降维(NLDR)的方法。我们...
2024-03-09 17:00:21 11
转载 【ICLR2024】3D-MoLM:增强语言模型对分子3D空间结构的理解
来源:专知本文约2800字,建议阅读5分钟在本文中,我们提出了3D-MoLM,旨在促进大语言模型对 3D分子表示的跨模态理解。近来,大语言模型在自然语言处理方面展示了令人瞩目的理解和推理能力,促使不同领域纷纷探索这些模型在自己专业领域内的应用潜力。 在生化分子理解领域,分子结构,尤其是3D空间结构,对于理解分子动力学、蛋白质-配体相互作用、酶功能等一系列生化分子性质至关重要。虽然现有的大语言...
2024-03-09 17:00:21 14
转载 【2024新书】AI提示工程:在工程世界中释放人工智能的力量
来源:专知本文为书籍介绍,建议阅读5分钟踏上一场引人注目且充满吸引力的旅程,探索工程的未来——《AI提示工程》。踏上一场引人注目且充满吸引力的旅程,探索工程的未来——《AI提示工程》。这本引人入胜的书邀请您探索人工智能(AI)与工程专业知识的激动人心的融合,解锁创新和无限可能的世界。深入探究AI对工程流程的变革性影响。这本吸引人的读物揭开了AI驱动的设计、解决问题的能力以及其在各个工程领域的革...
2024-03-09 17:00:21 11
转载 感受 lambda 之美!
来源:顶级架构师本文约3800字,建议阅读10+分钟本文说的Stream要组合使用才会发挥更大的功能,链式调用很迷人,根据自己的业务去做吧。一、引言java8最大的特性就是引入Lambda表达式,即函数式编程,可以将行为进行传递。总结就是:使用不可变值与函数,函数对不可变值进行处理,映射成另一个值。二、java重要的函数式接口1、什么是函数式接口函数接口是只有一个抽象方法的接口,用作 Lamb...
2024-03-09 17:00:21 12
转载 协和眼科牵头 ,5 家眼科中心同发力,用 AI 助力 13 种眼底疾病检测
本文约4200字,建议阅读5分钟本文介绍了通过使用开发人工智能系统模型,协助初级眼科医生的诊断一致性提高了约 12%的技术。北京协和医院、华西医院、河北医科大学第二医院、天津医科大学眼科医院、温州医科大学附属眼科医院的联合研究团队通过开发人工智能系统模型,协助初级眼科医生的诊断一致性提高了约 12%,为 13 种主要眼底疾病的自动检测提供了一种新的方法。眼睛方寸之间,疾病千差万别。去年底,由爱康...
2024-03-08 17:03:37 190
转载 深入探究深度学习、神经网络与卷积神经网络以及它们在多个领域中的应用
来源:机器视觉知识推荐官本文约11000字,建议阅读10+分钟本文将介绍深度学习技术、神经网络与卷积神经网络以及它们在相关领域中的应用。在如今的网络时代,错综复杂的大数据和网络环境,让传统信息处理理论、人工智能与人工神经网络都面临巨大的挑战。近些年,深度学习逐渐走进人们的视线,通过深度学习解决若干问题的案例越来越多。一些传统的图像处理技术也可以通过深度学习来获得更优异的效果,...
2024-03-08 17:03:37 13
转载 系统总结!机器学习的模型!
本文约10000字,建议阅读20分钟本文介绍了机器学习的模型。机器学习是通过让计算机从数据中自动提取规律和模式,进而完成特定任务。按照模型类型,机器学习主要分为三大类:监督学习模型、半监督学习和无监督学习模型。(除了上述三大类,还有个强化学习,它是让计算机与环境自动交互,学习出如何最大化奖励的策略。)不同的机器学习模型,有其特定的原理,适用于不同的任务和场景。如下我们系统盘点下机器学习模型及...
2024-03-07 17:01:46 15
转载 通知 | 清华大学“大数据能力提升项目”证书办理及领取(2024春)
同学们好,2024年春季学期大数据能力提升项目证书办理工作即将开启。请满足证书办理条件的同学,按时提交申请材料。具体通知如下:1.请再次确认报名大数据能力提升项目年份,并根据以下对应年份的培养方案查找申请证书要求。2019年及之前参照《 2019年培养方案》:https://mp.weixin.qq.com/s/2OdPtKl_Wuj8zEbd0uNTMw2020年-2021年参照《 2020年培...
2024-03-07 17:01:46 22
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人