自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

数据派THU

发布清华大学数据科学相关科研动态、教学成果及线下活动

  • 博客(3874)
  • 收藏
  • 关注

转载 计算GMAC和GFLOPS

本文约1500字,建议阅读7分钟通过 GMAC 指标,研究人员和从业者可以就模型选择、硬件要求和优化策略做出明智的决策,以实现高效且有效的深度学习计算。GMAC 代表“Giga Multiply-Add Operations per Second”(每秒千兆乘法累加运算),是用于衡量深度学习模型计算效率的指标。它表示每秒在模型中执行的乘法累加运算的数量,以每秒十亿 (giga) 表示。乘法累加 (...

2023-06-10 17:43:00

转载 【CMU博士论文】基于机器学习的预测: 准确性、可解释性和效率

来源:专知本文为论文介绍,建议阅读5分钟本论文通过弥合机器学习和经典统计预测方法之间的差距来解决这些挑战。新的学习算法提高了我们仅通过观察单个事件的过去观察来获取知识的能力,使我们能从观察几个相关事件中学习。这种在时间序列中利用共享有用信息的能力正在引起时间序列预测实践的范式转变。然而,基于机器学习的预测仍面临着一些迫切的挑战,这些挑战限制了其可用性、有用性以及可实现的现实世界的影响,包括人类...

2023-06-09 10:28:41 14

转载 无人机+ AI 图像分析:里斯本大学高效检测林业害虫

本文约2400字,建议阅读5分钟里斯本大学研究人员将无人机与 AI 图像分析相结合,在此基础上测试了两种深度学习方法—— FRCNN 及 YOLO 来检测早期松异舟蛾巢穴,并且效果显著。早期发现虫害对于因地制宜采取防控措施至关重要。尽管遥感技术可用于快速扫描大面积区域,但面对低强度信号或难以检测的物体,其效果并不尽如人意。因此,里斯本大学研究人员将无人机与 AI 图像分析相结合,在此基础上测试了...

2023-06-09 10:28:41 12

转载 数据偏度介绍和处理方法

来源:DeepHub IMBA本文约1700字,建议阅读8分钟偏度可以与其他描述性统计一起描述变量的分布。通过偏度也可以判断变量是否为正态分布。偏度(skewness)是用来衡量概率分布或数据集中不对称程度的统计量。它描述了数据分布的尾部(tail)在平均值的哪一侧更重或更长。偏度可以帮助我们了解数据的偏斜性质,即数据相对于平均值的分布情况。有时,正态分布倾向于向一边倾斜。这是因为数据大于或小于...

2023-06-09 10:28:41 9

原创 报名 | 2023中国高校计算机大赛—大数据挑战赛火热开启!

2016年,教育部高等学校计算机类专业教学指导委员会、教育部高等学校软件工程专业教学指导委员会、教育部高等学校大学计算机课程教学指导委员会、全国高等学校计算机教育研究会联合创办了“中国高校计算机大赛”(China Collegiate Computing Contest,简称C4),目前“中国高校计算机大赛”继续由全国高等学校计算机教育研究会主办。大数据挑战赛是其中的一项重要赛事,在2018-20...

2023-06-09 10:28:41 247

转载 GPT-4等大模型迎来进化转折点:不只是使用,还会自己制作工具了

来源:机器之心本文约3600字,建议阅读5分钟在人类的进化史中,制作和使用工具是关键的转折点。如今,在 Google Deepmind 等最新的研究中,大语言模型也具备了相似的能力,进化成了工具制作者。我们知道,大语言模型(LLM)在广泛的 NLP 任务中已经表现出卓越的能力,甚至展现出能够实现通用人工智能某些方面的良好迹象。此外,与人类的智能进化类似,LLM 在最近的研究中被揭示出使用外部工具...

2023-06-08 17:14:12 6

转载 英国皇家植物园采用机器学习预测植物抗疟性,将准确率从 0.46 提升至 0.67

本文约2500字,建议阅读5分钟论文提出了动态混合视觉变压器(DHVT)来增强这两种感应偏差。疟疾是严重危害人类生命健康的重大传染病,研究人员一直在致力于寻找新的植物源性抗疟疾化合物,以研发相关药物。近期英国皇家植物园利用机器学习算法有效预测了植物抗疟性,该研究成果目前已发表在《Frontiers in Plant Science》期刊上。关键词:植物学 抗疟疾 支持向量疟疾是一种肆虐全球的寄生...

2023-06-08 17:14:12 10

转载 【KDD2023】TransAct: 基于Transformer的实时用户行为模型在Pinterest的推荐系统中的应用...

来源:专知本文为论文介绍,建议阅读5分钟我们进一步展示了TransAct在其他表面,如情境推荐和搜索中的有效性。针对下一步动作预测对用户活动进行编码的顺序模型,已经成为构建网页规模个性化推荐系统的热门设计选择。传统的顺序推荐方法要么在实时用户行为上进行端到端学习,要么以离线批量生成的方式单独学习用户表示。本文(1)介绍了Pinterest的Homefeed排名架构,这是我们的个性化推荐产品,也是...

2023-06-08 17:14:12 12

转载 世界的参数倒影:为何GPT通过Next Token Prediction可以产生智能

来源:机器之心本文约24000字,建议阅读40分钟本文带你认识GPT是否具有类人智能。GPT是鹦鹉学舌,还是真的具有类人智能?带你一探究竟。「两位说英语的荒岛幸存者被困在相邻岛屿上,中间隔着危险水域。幸运的是,他们发现了前任居民留下的电报机,电报机通过一条水下电缆连接起来,他们能够通过电报传递信息。但是,他们不知道的是:附近水域里,生活着一个具备超级智能的章鱼,它劫持了水下电缆并拦截了他们之间...

2023-06-08 17:14:12 11

原创 原创 | 一文读懂强化学习在动态规划领域的应用

作者:黄娘球本文约1600字,建议阅读5分钟本文澄清易混淆基础概念、推导公式为主,回顾强化学习基础知识。ChatGPT已成为继AlphaGo之后的社会现象级人工智能,引发了大模型研究的热潮。戴琼海院士提出,五年后大模型将成为AI的"操作系统"。ChatGPT良好的用户体验,以RLHF(Reinforcement Learning from Human Feedback)为代表Alignmen...

2023-06-07 17:34:33 8

转载 【ICML2023】Hiera: 一个无需花哨附加功能的分层视觉Transformer

来源:专知本文为论文介绍,建议阅读5分钟我们创建了Hiera,一种极其简单的分层视觉Transformer,比以前的模型更精确。现代的分层视觉Transformer已经添加了几个专门针对视觉的组件,以追求监督分类的性能。虽然这些组件带来了有效的精确度和吸引人的FLOP计数,但增加的复杂性实际上使这些Transformer比其原生ViT(Vision Transformer)对应物更慢。在本文中,...

2023-06-07 17:34:33 19

转载 OpenAI要为GPT-4解决数学问题了:奖励模型指错,解题水平达到新高度

来源:机器之心本文约2500字,建议阅读9分钟对于具有挑战性的 step-by-step 数学推理问题,是在每一步给予奖励还是在最后给予单个奖励更有效呢?OpenAI 的最新研究给出了他们的答案。现在,大语言模型迎来了「无所不能」的时代,其中在执行复杂多步推理方面的能力也有了很大提高。不过,即使是最先进的大模型也会产生逻辑错误,通常称为幻觉。因此,减轻幻觉是构建对齐 AGI 的关键一步。为了训...

2023-06-07 17:34:33 18

转载 设置和使用DragGAN:搭建非官方的演示版

来源:DeepHub IMBA本文约1000字,建议阅读5分钟DragGAN的官方版还没有发布,但是已经有非官方版的实现了,我们看看如何使用。DragGAN不仅让GAN重新回到竞争轨道上,而且为GAN图像处理开辟了新的可能性。正式版本将于本月发布。但是现在已经可以在一个非官方的演示中试用这个新工具了。DragGAN生成对抗网络(GAN)是一种机器学习系统,由生成器和鉴别器两部分组成。这两个部分...

2023-06-07 17:34:33 25

原创 干货 | 郭晓雷:数智安全监管机制研究与思考

作者:郭晓雷本文约4300字,建议阅读8分钟本文报告的主要内容关于数据安全,从学术或者技术的角度,更多地认为人工智能是数据处理的新技术,其应用会产生更加丰富的数据处理活动场景。郭晓雷:今天报告的主要内容关于数据安全,从学术或者技术的角度,更多地认为人工智能是数据处理的新技术,其应用会产生更加丰富的数据处理活动场景。一、引言引言部分主要说明我国数据安全战略和数据安全监管的基本思路。《数据安全...

2023-06-06 17:01:26 131

转载 李飞飞斯坦福经典CS231N课程2023季《深度学习计算机视觉》不容错过!附Slides

来源:专知本文为课程介绍,建议阅读5分钟李飞飞老师的CS231N课程《卷积神经网络视觉识别》被奉为经典,最新2023季4月4号开始了!众多想学习深度卷积神经网络的同学,可不能错过!地址:http://cs231n.stanford.edu/index.html计算机视觉已经在我们的社会中变得无处不在,应用在搜索、图像理解、应用程序、地图、医学、无人机和自动驾驶汽车。这些应用的核心是视觉识别任务,...

2023-06-06 17:01:26 23

转载 这8个NumPy函数可以解决90%的常见问题

来源:DeepHub IMBA本文约2000字,建议阅读7分钟本文中整理了一些可以解决常见问题的主要的NumPy函数。NumPy是一个用于科学计算和数据分析的Python库,也是机器学习的支柱。可以说NumPy奠定了Python在机器学习中的地位。NumPy提供了一个强大的多维数组对象,以及广泛的数学函数,可以对大型数据集进行有效的操作。这里的“大”是指数百万行。Numpy快速而高效的原因是底层...

2023-06-06 17:01:26 17

转载 RLHF中的「RL」是必需的吗?有人用二进制交叉熵直接微调LLM,效果更好

来源:机器之心本文约3000字,建议阅读5分钟Human Feedback 可以有,但这项研究却表明了「RL」的可替代性。近来,在大型数据集上训练的无监督语言模型已经获得了令人惊讶的能力。然而,这些模型是在具有各种目标、优先事项和技能集的人类生成的数据上训练的,其中一些目标和技能设定未必希望被模仿。从模型非常广泛的知识和能力中选择其期望的响应和行为,对于构建安全、高性能和可控的人工智能系统至关...

2023-06-06 17:01:26 14

转载 Arm新一代架构发布:CPU能效提升40%,GPU性能提升15%

来源:机器之心本文约3000字,建议阅读6分钟预计今年基于Arm新架构的移动端设备就会上市。对于全球 Arm 生态来说,每年不变的常数就是 Arm 新发布的「公版」架构,其设计一直在引领移动和云端计算的发展。在最近的台北 ComputeX 展会期间,Arm 展示了下一代 Cortex-A 和 Cortex-X 系列 CPU 内核 —— 以及新一代 GPU 设计,我们将看到它们从今年下半年到明年...

2023-06-05 17:00:56 17

转载 DHVT:在小数据集上降低VIT与卷积神经网络之间差距,解决从零开始训练的问题...

来源:DeepHub IMBA本文约1500字,建议阅读5分钟论文提出了动态混合视觉变压器(DHVT)来增强这两种感应偏差。VIT在归纳偏置方面存在空间相关性和信道表示的多样性两大缺陷。所以论文提出了动态混合视觉变压器(DHVT)来增强这两种感应偏差。在空间方面,采用混合结构,将卷积集成到补丁嵌入和多层感知器模块中,迫使模型捕获令牌特征及其相邻特征。在信道方面,引入了MLP中的动态特征聚合模块...

2023-06-05 17:00:56 24

转载 【ICML2023】面向决策Transformer的未来条件无监督预训练

来源:专知本文为论文介绍,建议阅读5分钟我们提出了预训练决策变换器(PDT),这是一种在概念上简单的无监督RL预训练方法。近期在离线强化学习(RL)的研究中,我们发现基于回报的监督学习是解决决策问题的强大范式。然而,尽管有前景,但基于回报的方法仅限于使用标注有奖励的训练数据,因此在从无监督数据中学习时面临挑战。在这项工作中,我们旨在利用泛化的未来条件,以实现从无奖励和次优离线数据中进行有效的无...

2023-06-05 17:00:56 16

转载 Python特征选择的总结

来源:深度学习基础与进阶本文约4900字,建议阅读5分钟本文我们将回顾特性选择技术并回答为什么它很重要以及如何使用python实现它。本文还可以帮助你解答以下的面试问题:什么是特征选择?说出特性选择的一些好处你知道哪些特征选择技巧?区分单变量、双变量和多变量分析。我们能用PCA来进行特征选择吗?前向特征选择和后向特征选择的区别是什么?01 什么是特征选择,为何重要?特性选择是选择与ML模型更加...

2023-06-05 17:00:56 40

转载 NLP+Diffusion=?UMN最新《NLP中的扩散模型》综述 ,全面阐述离散和嵌入扩散模型方法...

来源:专知本文约4000字,建议阅读5分钟最新关于NLP中的扩散模型综述。这篇综述文章全面回顾了扩散模型在自然语言处理(NLP)中的使用情况。扩散模型是一类数学模型,旨在捕获信息或信号在网络或流形中的扩散。在NLP中,扩散模型已被用于各种应用,如自然语言生成、情感分析、主题建模和机器翻译。本文讨论了在NLP中使用的不同形式的扩散模型,它们的优点和限制,以及它们的应用。我们还对扩散模型和其他生成...

2023-06-04 17:54:27 27

转载 如何比较两个或多个分布(附资料下载)

来源:我得学城本文约5900字,建议阅读10分钟本文我们将介绍比较两个(或多个)分布以及评估它们之间差异的大小和显著性的不同方法。在数据科学中,比较不同组之间的变量的经验分布是一个常见的问题。特别是在因果推断中,当我们需要评估随机化的质量时,这个问题经常出现。当我们想评估某个政策(或用户体验特性、广告活动、药物等)的因果效应时,因果推断中的黄金标准是随机对照试验(randomized cont...

2023-06-04 17:54:27 22

转载 NSFW 图片分类

来源:DeepHub IMBA本文约2400字,建议阅读5分钟本文将介绍如何创建一个检测NSFW图像的图像分类模型。NSFW指的是 不适宜工作场所("Not Safe (or Suitable) For Work;")。在本文中,将介绍如何创建一个检测NSFW图像的图像分类模型。数据集由于数据集的性质,我们无法从一些数据集的网站(如Kaggle等)获得所有图像。但是我们找到了一个专门抓取这种类...

2023-06-04 17:54:27 17

转载 Google DeepMind、OpenAI等联合发文:AI大模型的极端风险,如何评估?

来源:学术头条本文约2300字,建议阅读5分钟在未来,人工智能的进一步发展可能会导致很多极端风险。目前,构建通用人工智能(AGI)系统的方法,在帮助人们更好地解决现实问题的同时,也会带来一些意外的风险。因此,在未来,人工智能的进一步发展可能会导致很多极端风险,如具有攻击性的网络能力或强大的操纵技能等等。近期,Google DeepMind 联合剑桥大学、牛津大学等高校和 OpenAI、Anthr...

2023-06-03 17:00:38 23

转载 用scikit-plot可视化训练好的模型

来源:深度学习基础与进阶本文约1000字,建议阅读5分钟本文介绍了使用scikit-learn可视化训练好的模型。对训练好的模型进行可视化,功能比较简单易懂。scikit-learn (sklearn)是Python环境下常见的机器学习库,包含了常见的分类、回归和聚类算法。在训练模型之后,常见的操作是对模型进行可视化,则需要使用Matplotlib进行展示。scikit-plot是一个基于skl...

2023-06-03 17:00:38 12

转载 域适应中的域索引:定义、方法、理论和可解释性

来源:PaperWeekly本文约4500字,建议阅读9分钟本文介绍了域索引。论文标题:Domain-Indexing Variational Bayes: Interpretable Domain Index for Domain Adaptation论文链接:https://arxiv.org/pdf/2302.02561.pdfhttp://wanghao.in/paper/ICLR23...

2023-06-03 17:00:38 20

转载 用GPT-4实现可控文本图像生成,UC伯克利&微软提出新框架Control-GPT

来源:机器之心本文约2400字,建议阅读5分钟扩散模型虽好,但如何保证生成的图像准确高质量?GPT-4或许能帮上忙。文本到图像生成领域近两年取得了很大的突破,从 GAN 到 Stable Diffusion,图像生成的速度越来越快,生成效果越来越好。然而,AI 模型生成的图像在细节上还有很多瑕疵,并且使用自然语言指定对象的确切位置、大小或形状存在一定的困难。为了生成精准、高质量的图像,现有方法...

2023-06-02 17:01:06 13

转载 PyTorch-Forecasting一个新的时间序列预测库(附代码)

来源:DeepHub IMBA本文约1000字,建议阅读5分钟本文将介绍PyTorch-Forecasting的特性和功能,并进行示例代码演示。时间序列预测在金融、天气预报、销售预测和需求预测等各个领域发挥着至关重要的作用。PyTorch- forecasting是一个建立在PyTorch之上的开源Python包,专门用于简化和增强时间序列的工作。在本文中我们介绍PyTorch-Forecast...

2023-06-02 17:01:06 40

转载 【2023新书】超图计算,Hypergraph Computation

来源:专知本文为书籍介绍,建议阅读5分钟这本开放获取的书籍讨论了超图计算的理论和方法。许多数据之间的底层关系可以用图表来表示,例如在计算机视觉、分子化学、分子生物学等领域。在过去的十年中,人们开发了基于图的学习和神经网络方法来处理这类数据,它们特别适合处理关系学习任务。然而,在许多实际问题中,我们关心的对象之间的关系比两两之间的关系更复杂。简单地将复杂的关系压缩为两两的关系必然会导致信息的丢失...

2023-06-02 17:01:06 15

转载 形态学运算与仿真:图像处理中形态学操作的简单解释

来源:DeepHub IMBA本文约2300字,建议阅读8分钟形态学是一种基于形状和结构的图像处理方法,其核心是结构元素(SE)的定义和运算。形态学是图像处理领域的一个分支,主要用于描述和处理图像中的形状和结构。形态学可以用于提取图像中的特征、消除噪声、改变图像的形状等。其中形态学的核心操作是形态学运算。形态学运算是一种基于形状的图像处理技术,它是通过结构元素与图像进行特定运算的方式来改变图像的...

2023-06-01 17:03:58 20

转载 开源中文医疗大模型华佗GPT来了,真人医生盲测效果优于ChatGPT

来源:机器之心本文约2000字,建议阅读5分钟香港中文大学(深圳)和深圳市大数据研究院所在的王本友教授团队训练并开源了一个新的医疗大模型 ——HuatuoGPT(华佗GPT),以使语言模型具备像医生一样的诊断能力和提供有用信息的能力。基于医生回复和 ChatGPT 回复,让语言模型成为医生提供丰富且准确的问诊。在医疗领域,大规模语言模型(LLM)具有广阔的应用潜力。尽管像 ChatGPT 这样...

2023-06-01 17:03:58 33

转载 一文掌握卡方检验

来源:我得学城本文约5000字,建议阅读10分钟本文将详细介绍卡方检验(Chi Square Test)。卡方检验(Chi Square Test)被广泛使用,特别是在涉及医学、产品设计、工程和几乎所有研究项目的决策中。为了理解什么是卡方检验,首先需要了解什么是假设检验,因为卡方检验是假设检验的一种。一旦知道什么是假设检验,就能够在此基础上了解许多不同种类的假设检验,例如卡方检验、t检验、Z检验...

2023-06-01 17:03:58 24

转载 常见的距离算法和相似度计算方法

来源:新机器视觉本文约3400字,建议阅读7分钟本文整理了常见的距离算法和相似度(系数)算法,并比较了欧氏距离和余弦距离间的不同之处。1、常见的距离算法1.1 欧几里得距离(Euclidean Distance)在数学中,欧几里得距离或欧几里得度量是欧几里得空间中两点间“普通”(即直线)距离。使用这个距离,欧氏空间成为度量空间。相关联的范数称为欧几里得范数。Euclidean Distance是...

2023-05-31 17:00:48 25

转载 马尔可夫链与马尔可夫模型(附代码)

‍来源:我得学城本文约5000字,建议阅读10+分钟本文我们将介绍比较两个(或多个)分布以及评估它们之间差异的大小和显著性的不同方法。马尔可夫链(有翻译为马尔科夫,英语:Markov chain),又称离散时间马尔可夫链(discrete-time Markov chain,缩写为DTMC,因俄国数学家安德烈·马尔可夫得名,为状态空间中经过从一个状态到另一个状态的转换的随机过程。马尔可夫链在...

2023-05-31 17:00:48 48

转载 脑机接口、脑波和fMRI,AI正在掌握读心术

来源:机器之心本文约5200字,建议阅读10分钟本文介绍了AI技术在读心术方面的研究。读心术可以说是人类最想要的超能力之一,同时也必定是人们最不希望别人有的一种超能力。只需在搜索引擎中输入「读心术」这个关键词,你就能找到大量相关书籍、视频和教程,足可见人们对这一能力的痴迷。但抛开那些心理学、行为学或神秘主义的内容不谈,单从技术角度看,人类的大脑信号是存在模式的,也因此读心术(解析大脑信号的模式...

2023-05-31 17:00:48 119

转载 10大机器学习聚类算法实现(Python)

来源:尤而小屋新机器视觉本文约7000字,建议阅读14分钟本文分享一篇关于聚类的文章:10种聚类算法和Python代码。聚类或聚类分析是无监督学习问题。它通常被用作数据分析技术,用于发现数据中的有趣模式,例如基于其行为的客户群。有许多聚类算法可供选择,对于所有情况,没有单一的最佳聚类算法。相反,最好探索一系列聚类算法以及每种算法的不同配置。在本教程中,你将发现如何在 python 中安装和使...

2023-05-30 17:01:35 13

转载 隐马尔可夫模型(HMM)

来源:深度学习初学者本文约1800字,建议阅读5分钟了解马尔可夫和隐马尔可夫模型相关基础知识,知道什么是隐马尔可夫模型,知道隐马尔可夫模型可以解决的三个问题及其求解方法。本文目录结构一、基础知识马尔可夫性马尔可夫过程和马尔可夫模型马尔科夫链二、隐马尔可夫模型概念介绍三要素两个基本假设观测序列产生过程三个基本问题及其求解方法本文学习目标:了解马尔可夫和隐马尔可夫模型相关基础知识,知道什么是隐马尔可...

2023-05-30 17:01:35 23

转载 5 个章节、25 条规范,全方位 Get 数据集选择与创建的「百科全书」

本文约2400字,建议阅读9分钟本文为你详细介绍创建和选择数据集的方式方法。内容一览:如果你正在学习如何创建或选择一个合适的数据集,那么这篇文章会给你一些实用的建议,帮助你在选择和创建数据集时做出明智的决策。作者 | xixi审校 | 三羊一个高质量的数据集不仅可以提高模型的准确率和运行效率,还可以节省训练时间和算力资源。本篇文章中,我们参考 Jan Marcel Kezmann 的文章「The ...

2023-05-30 17:01:35 24

转载 【KDD2023】对领域泛化的异质性进行定量度量和对比分析

来源:专知本文为论文介绍,建议阅读5分钟我们提出了一种通过提升学习变异特征来衡量领域异质性的学习潜能指导度量。领域泛化(DG)是现实世界应用中普遍存在的问题,其目标是利用多个源领域来训练出对未见过的目标领域具有良好泛化能力的模型。由于领域标签(即每个数据点采样自哪个领域)自然存在,大多数DG算法将它们视为一种监督信息,以提高泛化性能。然而,由于缺乏领域异质性(即领域间的多样性),原始领域标签可...

2023-05-30 17:01:35 30

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除