- 博客(148)
- 收藏
- 关注
RSS订阅原创 臭皮匠与诸葛亮2：1B参数的语言模型能超越405B模型吗？
Test-Time Scaling，TTS是一种在推理过程中利用额外计算资源来提升大语言模型（LLMs）性能重要方法。TTS在模型测试/推理阶段，采用灵活的策略来优化模型的推理效果或效率的方法。
2025-05-01 09:25:47
553
原创 臭皮匠与诸葛亮1：覆盖率与正确率的博弈
将语言模型不断地扩大规模是可以提高它们的能力。而日常运用的时候，通常将推理限制在一次。要是对于同一个问题进行多次反复的采样生成，那么是否能够覆盖正确的答案？是否能够被准确的捞出？
2025-05-01 09:23:06
319
原创 NVIDIA AI发布Describe Anything 3B
NVIDIA推出了Describe Anything 3B（DAM-3B），一款多模态大语言模型，旨在提供详细的图像和视频本地化描述。配备DAM-3B-Video，该系统接受通过点、涂鸦或掩码指定区域输入，并生成具有上下文基础的描述性文本。
2025-04-30 09:03:22
358
原创 Polars: 新一代高性能数据处理库
Polars的新兴数据处理库正迅速崛起，吸引了众多数据科学家和分析师的关注。本文将深入探讨Polars的背景、技术原理、突出优势以及与现有数据处理库的对比分析，帮助读者全面了解这一强大工具的价值。
2025-04-30 08:57:21
503
原创 靴子落地：Qwen3
Qwen 3已经凌晨正式发布，Qwen 3系列模型参数范围从0.6B到235B不等，提供了前所未有的灵活性和卓越性能。与前代产品不同，这次发布提供了一系列针对不同需求量身定制的模型。
2025-04-29 09:01:47
265
原创 学而不倦：LLM书籍系列
大型语言模型（LLM）的普及，越来越多的人对AI与LLM工程感兴趣，尤其是从模型设计到实际部署。应各位读者的要求，后续将陆续推荐一些英文书籍，这些书籍系统讲解AI与LLM工程知识，更以实际项目经验为依托，帮助读者从零构建可落地的AI系统。
2025-04-29 08:24:33
889
原创 Metaflow：全栈式的数据科学框架
Metaflow最初由Netflix开发，现在由Outerbounds支持，旨在提高研究和工程团队在各种项目上的生产力，从传统统计到最先进的深度学习和基础模型。Metaflow确保了实际AI和ML系统的无缝端到端管理。
2025-04-29 08:22:25
555
原创 是时候，纵览时空大模型
Spatio-temporal，随着基础模型(FM)和大型语言模型(LLM)的出现，时空基础模型(STFM)通过整合感知、优化和推理能力来增强时空数据挖掘，提供了新的可能性。
2025-04-28 08:36:31
658
原创 BitNet：划时代的1-bit大模型
微软最近发布的模型BitNet b1.58 2B4T代表对模型效率的极致追求。BitNet架构旨在使用极低位权重运行，将量化技术推向了高潮。先来温习一些背景知识。
2025-04-28 08:30:53
985
原创 利用语料来透析（“哲学思考”） “数字孪生” 上
数据交易包不包括交付，其实仁者见仁，不同的见解演化出不同路径。目前大致分软流通和硬流通两种模式。软流通涉及数据凭证，数据合规，数据安全以及数据资产入表等，硬流通涉及具体流通技术，隐私计算区块链乃至缘于欧洲数据空间技术的“变种”数据空间技术。
2024-10-07 12:48:24
935
原创 WordLlama：在消费级GPU上奔跑的“瘦子”
WordLlama一个开源、快速、轻量级 （16MB） NLP 工具包，用于相似性和针对 CPU优化任务。它是一种用于NLP和单词嵌入的实用程序，它类似于GloVe、Word2Vec或FastText。它首先从最先进的LLaMA3中提取。
2024-09-20 08:30:39
603
原创 Apple发布iPhone16和Apple Intelligence
Apple宣布iPhone 16将成为第一款专为生成式人工智能打造的机型，它将允许用户使用自然语言提示创建文本和图像。
2024-09-10 08:44:44
753
原创 突发：Runway删库跑路，备受瞩目的Stable Diffusion v1.5不见了！
“这是一个神奇的世界，留给人类的是千变万化的瞬间。”正如电影里台词阐述的那样， Runway旗下的视频编辑工具Gen-2展现了AI将文本转化为视频世界的魔力与神奇，只需要输入短短几个词语或者一句话的描绘，就能生成想要的视频画面。
2024-09-01 09:54:28
2090
原创 优雅谈大模型：白话ZeRO 下
若模型足够小，单个GPU能够搞定，则可以使用数据并行将其扩展到多个节点。随着模型大小的增加，可能需要张量并行才能将模型分布到单个节点内的多个 GPU 上。如果模型变得更大，可以在同一节点内应用张量并行，而在不同节点之间使用管道并行。
2024-09-01 09:52:42
934
原创 Jamba前生今世：1.5开源来袭
近日AI21 Labs发布Jamba 1.5系列开放模型，包括Jamba 1.5 Mini和Jamba 1.5 Large，这些模型建立在新颖的SSM-Transformer架构之上，某种意义上也算是AI技术的突破。
2024-08-24 08:57:12
1116
原创 AI架构系列：去其形而留其意
最近很多的咨询都在问我相同的问题，如何将LLM集成到垂直领域的业务场景。这里提到的场景当然这些场景不再是生成式应用，而是较为专业的领域。我翻了一篇三月份的论文，以这篇论文来回答读者的问题。其实就是要将LLM去其形，而留其意。
2024-08-19 20:50:52
862
原创 ViT篇外：NVIDIA Llama-3.1-Minitron 4B
LLMs例如Llama 3.1 405B和NVIDIA Nemotron-4 340B在许多具有挑战性的任务中表现出色，包括编码、推理和数学。但是部署它们需要大量资源。开发小型且高效的语言模型成为热门，毕竟好用且部署成本要低很多。
2024-08-19 20:47:54
1195
原创 Grok 2携AI图片生成重生
埃隆·马斯克（Elon Musk）的人工智能初创公司xAI推出其最新的AI助手Grok 2的测试版，添加了类似于OpenAI的DALL-E和Google的Gemini的图像生成工具，但对可以生成的图像类型的限制显然较少。
2024-08-17 08:31:33
645
原创 TorchChat：Ollama的潜在对手
昨天介绍的PyTorch最近发布TorchChat。TorchChat允许在本地台式机、笔记本电脑或移动设备上下载和运行大型语言模型。会不会让你想到什么，没错就是Ollama。
2024-08-17 08:27:38
1194
原创 优雅谈大模型：Python编程篇
Python在机器学习领域的地位十分关键，虽然后面有Julia，Mojo等其他对手的挑战，Python拥有庞大的机器学习库和框架，尤其是生态系统。当然它和Java，Scala，Go，Rust等编程语言对比，在工程化方面还是稍欠火候。
2024-08-17 08:24:55
991
原创 泡沫还是机遇？复盘18个月的AI装备竞赛
最近是科技财报季，所有的人都会有提问：什么时候会有人开始从人工智能中赚钱？人工智能历史发展曲线经历了多次的沉浮。
2024-08-17 07:46:53
407
原创 三个臭皮匠与一个诸葛亮：覆盖率与正确率的博弈
将语言模型不断地扩大规模是可以提高它们的能力。而日常运用的时候，通常将推理限制在一次。要是对于同一个问题进行多次反复的采样生成，那么是否能够覆盖正确的答案？是否能够被准确的捞出？
2024-08-17 07:45:35
1002
原创 NiFi ：1 初识这把“十年一剑”的利器
“现在AI和数据处理密不可分，80%企业可利用Apache NiFi轻松解决复杂的数据问题，快速完成场景建设。对于数据分析师或者研发人员，NiFi让其摆脱复杂的数据工程，而是将精力放在应用和分析的创新之上。NiFi的GUI令人赏心悦目！！”
2024-08-05 07:05:03
795
原创 Flux：Midjourney的新图像模型挑战者
Black Forest Labs是一家由前Stability.ai开发人员创立的AI初创公司，旨在为图像和视频创建尖端的生成式 AI 模型。这家初创公司声称，其第一个模型系列Flux.1为文本到图像的生成设定新的标准。
2024-08-04 10:59:14
987
原创 Apple在Swift中引入同态加密
Apple 引入了一个Swift的新开源包swift-homomorphic-encryption，以实现同态加密技术。swift-homomorphic-encryption 软件包利用了几个高级功能：
2024-08-04 10:57:30
1161
原创 优雅谈大模型：白话ZeRO
零冗余优化器（Zero Redundancy Optimizer，简称ZeRO）是一种用于大规模分布式深度学习的新型内存优化技术。ZeRO可以在当前一代GPU集群上训练具有100B参数的深度学习模型，吞吐量是当前最佳系统的吞吐量的三到五倍。
2024-07-31 06:56:55
1202
原创 Meta再下一城：SAM 2
“继用于图像SAM取得成功之后，我们发布了SAM 2，这是一种用于在图像和视频中实时进行对象分割的统一模型。” 模型适用于增强现实（AR）、虚拟现实（VR）、机器人、自动驾驶车辆和视频编辑等需要时间定位的应用。
2024-07-31 06:54:19
1440
原创 “年轻的”IMO选手：扫荡“围棋”后，开始扫荡“数学”
图表显示了AlphaProof+AlphaGeometry 2在IMO 2024上相对于人类竞争对手的性能。AI获得28分（满分42分），达到了与比赛中银牌得主相同的水平。
2024-07-29 07:18:38
750
原创 新版PyTorch：AI任务加速与Intel GPU集成
Pytorch 2.4 推出AI任务加速，提供对Intel GPU的支持。PyTorch 2.4现在为Intel数据中心GPU Max系列提供支持，该系列将Intel GPU和 SYCL 软件堆栈集成到标准PyTorch 堆栈中
2024-07-29 07:15:48
1932
原创 Llama 3.1和xAI超集群加速AI军备竞赛
从下面的各项基准而言，LLama3.1系列在同等量级中均有不俗的表现，尤其是405B已经和闭源的GPT-4o不分伯仲，甚至略压一头。
2024-07-25 07:37:11
592
原创 LLM基础模型系列：Prefix-Tuning
Prefix Tuning和Prompt Tuning最大的区别就是向每层的Transformer Block添加可训练的张量，而上一期的Prompt Tuning只是在输入的时候添加。
2024-07-21 11:49:45
435
原创 优雅谈大模型：“System2”与“System 1”
研究人员探索了三种System 2方法——RaR、S2A 和 BSM，这些方法已经成功提炼到新的LLM，这个新的模型与System 1相比，产生了更好的结果，而且成本低于System 2。然而这种方法是有局限性，只能适用于特定的任务。
2024-07-21 11:44:13
2338
2
原创 数据跨境法案：美国篇下
近年来，随着全球数字化的加速发展，数据已成为国家竞争力的重要基石。在这样的背景下，中国软件和技术出海的场景日益丰富。本系列邀请到在跨境数据方面的研究人员针对海外的数据跨境政策进行解读。
2024-07-20 16:53:17
1061
原创 本周当之无愧：小模型周
Microsoft的Phi系列、阿里巴巴的Qwen2和Meta的 MobileLLM表明，如果经过深思熟虑的设计和训练，小型模型可以取得令人印象深刻的结果。但是，有关这些模型的数据管理和训练的大部分详细信息尚未公开。
2024-07-20 16:51:11
1211
原创 SpreadsheetLLM：微软对Excel编码的“摊膀伏”
Excel的特点是二维数据格式、灵活的布局和多样化的格式选项。微软最近引入了SpreadsheetLLM，开创了一种高效的编码方法，用于释放和优化LLMs在电子表格上的强大理解和推理能力。
2024-07-19 21:49:31
1438
原创 百万专家小专家：“N个小皮匠”？！
随着隐藏层宽度的增加，标准Transformer架构中的前馈 (FFW) 层会导致计算成本和激活内存的线性增加。稀疏混合专家 (MoE) 架构已成为解决此问题的可行方法，它将模型大小与计算成本分离。
2024-07-19 21:47:16
585
原创 白话无人驾驶：2 运动规划
最近萝卜快跑成为具有争议的热点，小编认为这个时候各地将无人驾驶提速也是无奈之举，个中原因请自行揣摩。无人驾驶技术现在在很多的闭环场景已经在运用。真正的端对端技术，目前FSD算是一面大旗。
2024-07-15 22:11:37
1021
原创 FlashAttention3：“GEMM”就是比较快！
FlashAttention-3比使用FP16的FlashAttention-2 快1.5-2.0倍，即H100理论最大FLOPS利用率为 75%。使用FP8 时，FlashAttention-3 达到接近 1.2 PFLOPS。
2024-07-15 22:09:20
1915
原创 白话无人驾驶：1风暴来袭
根据最新的消息，在2024世界人工智能大会上，上海发放了首批完全无人驾驶智能网联汽车示范应用许可，即“完全无人载人车牌照”。首批获得许可的企业包括AutoX安途、小马智行科技、百度智行科技和赛可智能科技。
2024-07-13 15:03:35
1120
原创 LLM基础模型系列：Prompt-Tuning
大型预训练语言模型的规模不断扩大，在许多自然语言处理 （NLP） 基准测试中取得了最先进的结果。自GPT和BERT开发以来，标准做法一直是在下游任务上微调模型，这涉及调整网络中的每个权重（即模型调优）。
2024-07-13 15:01:00
727
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人