数据派THU

转载 【新书】LangChain: 大模型AI应用开发实用指南

来源：专知本文为书籍介绍，建议阅读5分钟学习用Python的最新热门框架构建复杂的AI应用。这本实用指南将带你从基础的聊天机器人发展到能够对数据进行推理的高级助手。学习用Python的最新热门框架构建复杂的AI应用。这本实用指南将带你从基础的聊天机器人发展到能够对数据进行推理的高级助手。逐步项目展示了如何使用LangChain、Streamlit和Chainlit创建AI驱动的应用 掌握提示工程...

转载 扩散模型的原理及实现（Pytorch）

来源：机器学习算法那些事本文约6500字，建议阅读13分钟本文完整的介绍了有关扩散模型的必要知识，并且使用Pytorch进行了完整的实现。扩散模型的导火索，是始于2020 年所提出的DDPM（Denoising Diffusion Probabilistic Model）。在深入研究去噪扩散概率模型(DDPM)如何工作的细节之前，让我们先看看现有生成式人工智能的一些发展，也就是DDPM的一些基...

转载 巧用蒙特卡洛算法进行敏感性分析

本文约2500字，建议阅读5分钟本文将探讨蒙特卡洛算法在敏感性分析中的应用，并提供一个实际案例，帮助大家理解如何使用Python实现该过程。在决策分析中，理解和量化不确定性很重要。本文将探讨蒙特卡洛算法在敏感性分析中的应用，并提供一个实际案例，帮助大家理解如何使用Python实现该过程。蒙特卡洛算法蒙特卡洛算法是一种基于随机抽样的数值计算方法，它通过从概率分布中重复抽取样本来估计数学问题的解。该算...

转载 【ETHZ博士论文】数据高效的机器学习引导的蛋白质工程

来源：专知本文约1600字，建议阅读5分钟以下论文开发了数据高效的机器学习引导的蛋白质工程方法，目标是改进开发并减少实验负担。蛋白质工程领域旨在通过合成全新蛋白质或修改现有分子来开发和改进分子属性和功能，如化学活性和热稳定性。定向进化模仿自然进化，但在快速尺度上进行。蛋白质被修改并筛选出感兴趣的功能，最优秀的候选者被用作进一步迭代的起点，直到识别出最佳候选分子。近年来，AI技术在蛋白质工程和定向...

转载 数据异常如何检验？本文给出14种检验方法！

来源：统计学Digdata本文约7000字，建议阅读10分钟本文介绍了14种检验数据异常的方法。一、基于分布的方法1. 3sigma基于正态分布，3sigma准则认为超过3sigma的数据为异常点。图1: 3sigmadefthree_sigma(s): mu,std=np.mean(s),np.std(s)lower,upper=mu-3*std,mu+3*st...

转载 R语言实现LASSO回归——自己编写LASSO回归算法

本文约500字，建议阅读5分钟这篇文章中我们可以编写自己的代码来计算套索(lasso)回归。相关视频我们必须定义阈值函数R函数是：thresh=function(x,a){sign(x) * pmax(abs(x)-a,0)}要解决我们的优化问题，设置这样就可以等效地写出优化问题因此一个得到同样，如果有权重ω=（ωi），则按坐标更新将变为计算此分量下降的代码是：lasso = funct...

转载 直播预告 | 智能安全新纪元：大模型技术的风险与机遇

转载 【博士论文】神经语言模型的参数效率

来源：专知本文为论文介绍，建议阅读5分钟本论文旨在提高这些模型的参数效率，寻求最小化存储需求、加速推理和适应，并增强泛化能力。近年来，预训练的神经语言模型在各种自然语言理解和生成任务上取得了显著的能力。然而，将这些模型扩展到包含数十亿参数的趋势，虽然增强了适应性和新出现的能力，但也因其庞大的规模带来了显著的部署挑战。这些挑战包括对模型存储和实际部署的推理延迟的限制、任务适应所需的密集时间和计算成...

转载 深度！图解神经网络的数学原理

来源：算法进阶‍‍‍‍‍‍‍本文约3000字，建议阅读8分钟本文将帮助大家理解一些在学习过程中可能会感到困惑的概念。如今，熟练使用像Keras、TensorFlow 或 PyTorch 之类的专用框架和高级程序库后，我们不用再经常费心考虑神经网络模型的大小，或者记住激活函数和导数的公式什么的。有了这些库和框架，我们创建一个神经网络，哪怕是架构很复杂的网络，往往也只是需要几个导入和几行代码而已...

转载 大模型在开放智能体场景中能意识到风险威胁吗？上海交大发布R-Judge安全评测...

本文约3500字，建议阅读8分钟本文介绍了单细胞多组学数据马赛克整合。01 引言：大模型智能体安全以 GPT-4 [2]为代表的大模型在推理、决策、指令遵循等方面展现出了强大的能力[10]，驱动了自主智能体迅猛发展。大模型智能体配备了工具调用和与环境交互的能力，在系统操控、智能助理、科学发现、群体协作等领域形成了代表性应用[3]。然而，在复杂环境中交互运行时，智能体可能造成意外的安全问题...

转载 北师大研究团队建立 ECA-Net 模型，预测中国未来 70 年的风能利用潜力

本文约3400字，建议阅读7分钟本世纪我国风能密度将呈现轻微下降。作者：梅菜编辑：李宝珠，三羊来自北京师范大学环境学院的研究团队建立了 ECA-Net 降尺度模型，并利用 2006 年至 2010 年的数据对建立的模型进行验证，进而预测我国本世纪的风能利用潜力。从暴雨、洪涝、干旱、飓风、森林火灾等气候极端事件频率的增加，到极地冰川融化导致的海平面上升，再到生物多样性的丧失和水资源压力的加剧，全球...

转载 彻底理解傅里叶变换！

来源：机器学习实战本文约3100字，建议阅读10分钟本文为你清晰通俗地介绍傅里叶变换，通过大量的动画不但告诉你傅里叶变换是什么以及能干什么。今天分享一篇关于傅立叶变换理解的文章，开局一张图。这篇文章可以说是介绍傅里叶变换最清晰通俗的，没有之一，直接把你当做小学生来讲，通过大量的动画不但告诉你傅里叶变换是什么，还告诉你傅里叶变换能干什么。难能可贵的是，你可以通过手动绘制图案和拖动滑块来加深读傅里...

转载 【CVPR2024】ViewDiff: 3D一致的图像生成与文本到图像模型

来源：专知本文为论文介绍，建议阅读5分钟在这篇论文中，我们提出了一种方法，利用预训练的文本到图片模型作为先验，并学习在单一去噪过程中从真实世界数据生成多视图图像。3D资产生成正在受到大量关注，这一趋势受到了最近文本引导的2D内容创造成功的启发。现有的文本到3D方法使用预训练的文本到图片扩散模型在一个优化问题中使用或对其在合成数据上进行微调，这通常会导致非真实感的3D对象而没有背景。在这篇论文中，...

转载 自主研发！军事医学研究院团队提出 MIDAS，可用于单细胞多组学数据马赛克整合...

本文约3500字，建议阅读8分钟本文介绍了单细胞多组学数据马赛克整合。军事医学研究院应晓敏团队和伯晓晨团队，提出了一种用于单细胞多组学数据马赛克式整合及知识迁移的计算工具 MIDAS，首次实现了通用的单细胞多组学马赛克数据的模态对齐、数据补全、批次校正等整合功能。众所周知，细胞是生命体的最小组成单位，人体内含有 40-60 万亿个细胞，构成了我们生长、发育的基础，在单细胞层面开展研究对于精确理解...

转载 【博士论文】元学习算法与应用

来源：专知本文为论文介绍，建议阅读5分钟我们研究的一个关键重点是显著提高元学习的效率。我们发展了两种方法：EvoGrad和PASHA，两者在两种常见场景中显著提高了元学习效率。在更广泛的背景下，元学习关注的是一个智能体如何了解自己的学习过程，从而改进其学习过程。学习如何学习不仅对人类有益，而且也显示出对改进机器学习方式的巨大好处。在机器学习的背景下，元学习使模型能够通过选择影响学习的适当元参数...

原创 原创 ｜ MOPRD多学科公开同行评审数据集

作者：林嘉亮本文约3500字，建议阅读8分钟本文介绍了MOPRD多学科公开同行评审数据集。传统的同行评审基于匿名机制构建。在这种机制下，审稿人的身份和审稿报告都不会向公众披露。然而，匿名机制并不利于同行评审的发展。作为对存在缺陷的匿名机制的一种改良方式，公开同行评审机制被引入到了学术出版中。公开同行评审释放了大量的同行评审数据，为计算机辅助同行评审和进一步实现学术论文自动审稿（Automated...

转载 RNN又行了！DeepMind新发布的Griffin可以与同级别的LLM性能相当

来源：DeepHub IMBA本文约2000字，建议阅读5分钟DeepMind新发布的Griffin可以与同级别的LLM性能相当。Hawk和Griffin是DeepMind推出的新型循环神经网络（RNNs），2月刚刚发布在arxiv上。Hawk通过使用门控线性递归（gated linear recurrences）超越了Mamba的性能，而Griffin则是一种混合型模型，结合了门控线性递归...

转载 LLaMA-2-7B数学能力上限已达97.7%？Xwin-Math利用合成数据解锁潜力

来源：机器之心本文约1600字，建议阅读5分钟合成数据持续解锁大模型的数学推理潜力！数学问题解决能力一直被视为衡量语言模型智能水平的重要指标。通常只有规模极大的模型或经过大量数学相关预训练的模型才能有机会在数学问题上表现出色。近日，一项由 Swin-Transformer 团队打造，来自西安交通大学、中国科学技术大学、清华大学和微软亚洲研究院的学者共同完成的研究工作 Xwin 颠覆了这一认知，...

转载 【CVPR2024】超越文本：在视觉信号理解中冻结的大型语言模型

来源：专知本文为论文介绍，建议阅读5分钟我们提出了视觉到语言的分词器，简称为V2T分词器，该分词器借助编解码器、LLM词汇表和CLIP模型的综合帮助，将图像转换为“外国语言”。在这项工作中，我们探讨了大型语言模型（LLM）直接理解视觉信号而无需在多模态数据集上进行微调的可能性。我们方法的基础概念将图像视为一种语言实体，并将其翻译为源自LLM词汇表的一组离散单词。为实现这一点，我们提出了视觉到语言...

原创 原创 | 一文读懂高斯过程

作者：贾恩东本文约2700字，建议阅读9分钟本文将使用通俗易懂的语言引导读者入门高斯过程。高斯过程（Gaussian Process）是机器学习中一个相当基础的概念，本文中笔者将使用通俗的语言让读者入门高斯过程。高斯过程，顾名思义，包含了高斯分布（Gaussian Distribution）和随机过程（Stochastic Process）。简单来说，高斯过程是一个无限维的高斯分布。无限维，对...

转载 【博士论文】拓扑空间上的信号处理与学习

来源：专知本文为论文介绍，建议阅读5分钟本论文的目的是介绍一系列特别设计的信号处理方法论，用于建模、解释和学习在拓扑空间内结构化的数据。本论文的目的是介绍一系列特别设计的信号处理方法论，用于建模、解释和学习在拓扑空间内结构化的数据。这些空间大致被描述为一组点及点之间的邻域概念。在此讨论的方法和工具，当应用于在组合拓扑空间（如单元复合体）上定义的信号，或在展示非平凡属性的度量空间内（如具有非平坦度...

转载 展望数据架构2024：二级火箭尚未脱离，三级火箭已经点火

作者：关涛本文约7000字，建议阅读10+分钟本文从系统架构角度，回顾了2021年预测的结果，总结了2021-2023年数据平台的三个演进热点，未来的三个发展趋势，以及三个未解的难题。编者按在过去的两年，数据架构领域发生了很多重大变化（很多是拐点级变化），例如大模型技术突破、向量检索成为热点、半/非结构化类Dark Data开始被关注等等。作为数据平台从业者，笔者经常被问到“下一代数据平台发展...

转载 准确率达 91.74%！东南大学提出光伏电池缺陷检测模型，首次引入神经结构搜索...

本文约7000字，建议阅读14分钟本文介绍了一种光伏电池 EL 图像缺陷检测模型，该模型基于神经结构搜索和知识蒸馏，准确率高达 91.74%。东南大学研究团队提出了一种光伏电池 EL 图像缺陷检测模型，该模型基于神经结构搜索和知识蒸馏，准确率高达 91.74%。乘着从全球吹来的「绿色发展、低碳转型」东风，光伏 (photovoltaic, PV) 产业自进入 21 世纪以来，便以令世人惊叹的速度...

转载 【新书】大语言模型手册：语言理解与生成

来源：专知本文为书籍介绍，建议阅读5分钟通过这本书，Python开发者将学习到使用这些能力所需的实用工具和概念。在过去的几年里，人工智能在语言能力方面取得了惊人的新进展。由深度学习的快速进步所推动，语言AI系统在编写和理解文本方面的能力比以往任何时候都要好。这一趋势促成了新功能、产品乃至整个行业的崛起。通过这本书，Python开发者将学习到使用这些能力所需的实用工具和概念。你将学习如何利用预训...

转载 报名 | “数智互联”创新产业与研学论坛

论坛导语党的二十大报告指出，“必须坚持科技是第一生产力、人才是第一资源、创新是第一动力”，要“加快发展数字经济，促进数字经济和实体经济深度融合，打造具有国际竞争力的数字产业集群。”随着国家“十四五”规划的逐步落实，大数据、AI、区块链与元宇宙等前沿数字经济领域产业发展达到了前所未有的速度。本次论坛活动致力于搭建集学术交流与创新分享于一体的国际化平台，连接全球领先的科技企业、知名学术机构和具有创新思...

转载 LLM 加速技巧：Muti Query Attention

来源：DeepHub IMBA本文约3000字，建议阅读9分钟MQA 是一种19 年提出的 新型 Attention 机制，可同时保证模型效果和加快生成速度。MQA 是 19 年提出的一种新的 Attention 机制，其能够在保证模型效果的同时加快 decoder 生成 token 的速度。在大语言模型时代被广泛使用，很多LLM都采用了MQA，如Falcon、PaLM、StarCoder等。...

转载 OpenAI开源了：Transformer自动debug工具上线GitHub

来源：机器之心本文约1000字，建议阅读5分钟不用敲代码，就可以快速探索模型结构。最近时常被吐槽不够开源的 OpenAI，突然开放了一次。近期，OpenAI 机器学习研究员 Jan Leike 宣布，OpenAI 开放了自己内部一直用于分析 Transformer 内部结构的工具。GitHub 链接：https://github.com/openai/transformer-debugger该...

转载 Sora背后的技术，最新《可控生成与文本到图像扩散模型》综述

来源：专知本文约3000字，建议阅读5分钟在这个综述中，我们对可控生成与T2I扩散模型的文献进行了全面调研，涵盖了这一领域的理论基础和实践进展。在迅速发展的视觉生成领域中，扩散模型革命性地改变了景观，以其令人印象深刻的文本引导生成功能标志着能力的重大转变。然而，仅依赖文本来条件化这些模型并不能完全满足不同应用和场景的多样化和复杂需求。认识到这一不足，多项研究旨在控制预训练的文本到图像（T2I）模...

转载 Vision Transformers的注意力层概念解释和代码实现

来源：DeepHub IMBA本文约4000字，建议阅读10+分钟本文将深入探讨注意力层在计算机视觉环境中的工作原理。2017年推出《Attention is All You Need》以来，transformers 已经成为自然语言处理(NLP)的最新技术。2021年，《An Image is Worth 16x16 Words》，成功地将transformers 用于计算机视觉任务。从那时...

转载 如何检验数据异常？

来源：pythonic生物人本文约7000字，建议阅读14分钟本文教你如何检验数据异常。一、基于分布的方法1. 3sigma基于正态分布，3sigma准则认为超过3sigma的数据为异常点。图1: 3sigmadef three_sigma(s): mu, std = np.mean(s), np.std(s) lower, upper = mu-3*std, mu+3*std...

转载 清华 IEDE 公开课 | Seminar of Prof. em. Warren B Powell

‍‍‍‍‍‍‍‍当代序列决策问题涵盖了动态资源分配问题、控制问题、最优停止/买卖问题、主动学习问题，以及双代理人博弈和多代理人问题等多个方面，可应用在在交通、医疗决策、金融等场景。在周二的课程中，我们将使用多种建模和算法框架，重点关注该问题在供应链管理中的解决和应用，欢迎参加本次讲座。嘉宾介绍SpeakerWarren B Powell is Professor Emeritus at Princ...

转载 线性回归？逻辑回归？各种回归的概念你究竟了解多少

来源：数学中国本文约4000字，建议阅读8分钟本文将带你了解各种回归的概念。回归问题的条件/前提：1） 收集的数据2） 假设的模型，即一个函数，这个函数里含有未知的参数，通过学习，可以估计出参数。然后利用这个模型去预测/分类新的数据。1、线性回归假设特征和结果都满足线性。即不大于一次方。这个是针对收集的数据而言。收集的数据中，每一个分量，就可以看做一个特征数据。每个特征至少对应一个未知的参数。...

转载 亚马逊工程师严选，超 40 篇 LLM 论文汇总

本文约8500字，建议阅读16分钟本文为你分享语言模型论文阅读清单，持续分享前沿论文，汇总了 40 余篇高质量论文。亚马逊工程师 Eugene Yan 等人建立了一个语言模型论文阅读清单，持续分享前沿论文，目前已经汇总了 40 余篇高质量论文。2023 年，大语言模型依旧是「话题制造机」，不管是 OpenAI 的「宫斗剧」，还是各个大厂的新模型、新产品「神仙打架」，亦或是行业大模型发展的风生水起...

转载 教授何恺明领衔MIT《计算机视觉进展》课，附Slides与视频

来源：专知 机器之心本文约500字，建议阅读5分钟MIT《计算机视觉》课程，何恺明等领衔讲授，不可错过！700 座的大教室，相比去年增加一倍容量，仍然座无虚席：这就是麻省理工学院（MIT）计算机视觉课《Advances in Computer Vision》6.8300 在 2024 新学期的盛况。今年是四位教授，每人负责一部分课程：课程信息：https://advances-in-visio...

转载 信号系统之傅里叶变换属性

来源：我不爱机器学习本文约9000字，建议阅读15分钟本文将带你了解傅里叶变换属性。1 傅里叶变换的线性度傅里叶变换是线性的，即具有均匀性和可加性的性质。对于傅里叶变换家族的所有四个成员（傅里叶变换、傅里叶级数、DFT 和 DTFT）都是如此。图 10-1 提供了一个示例，说明均匀性如何成为傅里叶变换的一个属性。图(a)显示了任意时域信号，相应的频谱如(b)所示。将这两个信号分别称为：x[] ...

转载 可视化FAISS矢量空间并调整RAG参数提高结果精度

来源：DeepHub IMBA本文约3600字，建议阅读7分钟本文我们将使用可视化库renumics-spotlight在2-D中可视化FAISS向量空间的多维嵌入，并通过改变某些关键的矢量化参数来寻找提高RAG响应精度的可能性。随着开源大型语言模型的性能不断提高，编写和分析代码、推荐、文本摘要和问答(QA)对的性能都有了很大的提高。但是当涉及到QA时，LLM通常会在未训练数据的相关的问题上有所...

转载 2024年清华大学大数据研究中心 | 招募夏季学期《大数据实践课》合作项目

一、大数据研究中心简介清华大学大数据研究中心于2018年9月成立，是清华大学建设世界一流大学、鼓励大数据领域学科交叉的重要举措，是深入推进科研体制机制改革的重要里程碑。大数据研究中心发挥清华大学多学科的优势，面向全球数字经济转型的迫切需求，服务国家大数据发展战略，聚焦信息科技前沿，促进数据科学理论、大数据技术与大数据领域应用等多个层次的深度交叉与融合发展，建设国际数据科学与大数据技术创新研究平台，...

转载 【CVPR2024】通过丰富的监督增强视觉-语言预训练

来源：专知本文为论文介绍，建议阅读5分钟我们提出了一种新颖的预训练范式——强监督截屏预训练（S4），用于视觉-语言模型，该模型使用来自大规模网页截屏渲染的数据。我们提出了一种新颖的预训练范式——强监督截屏预训练（S4），用于视觉-语言模型，该模型使用来自大规模网页截屏渲染的数据。使用网页截屏可以解锁视觉和文本提示的宝库，这些提示在使用图像-文本对时不存在。在S4中，我们利用HTML元素的固有树...

转载 感受 lambda 之美！

来源：顶级架构师本文约3800字，建议阅读10+分钟本文说的Stream要组合使用才会发挥更大的功能，链式调用很迷人，根据自己的业务去做吧。一、引言java8最大的特性就是引入Lambda表达式，即函数式编程，可以将行为进行传递。总结就是：使用不可变值与函数，函数对不可变值进行处理，映射成另一个值。二、java重要的函数式接口1、什么是函数式接口函数接口是只有一个抽象方法的接口，用作 Lamb...

转载 【2024新书】AI提示工程：在工程世界中释放人工智能的力量

来源：专知本文为书籍介绍，建议阅读5分钟踏上一场引人注目且充满吸引力的旅程，探索工程的未来——《AI提示工程》。踏上一场引人注目且充满吸引力的旅程，探索工程的未来——《AI提示工程》。这本引人入胜的书邀请您探索人工智能（AI）与工程专业知识的激动人心的融合，解锁创新和无限可能的世界。深入探究AI对工程流程的变革性影响。这本吸引人的读物揭开了AI驱动的设计、解决问题的能力以及其在各个工程领域的革...