- 博客(28)
- 收藏
- 关注
RSS订阅原创 WAIC：生成式 AI 时代的到来，高通创新未来！
目前，基于骁龙 X 系列平台的 Windows 11 AI PC 已在国内陆续上市，具备许多独特的 AI 功能，如通过回顾功能对存储资料进行 AI 搜索、设备端的 AI 图像生成与优化、实时翻译字幕和背景滤镜等。几个月后，这一预告变成了现实。，搭载的新型芯片可实现超过 40 TOPS（每秒万亿次操作）的 AI 算力，电池续航时间达一整天，并无缝接入全球最先进的人工智能模型。根据测算，在骁龙 X Elite 的支持下，新一代 AI PC 可以在终端侧运行超过 130 亿参数的生成式 AI 模型。
2024-07-06 19:17:51
861
原创 CVPR‘24 最佳学生论文，从灵感到成稿仅用一个月，源自业余创意！
更可能的是，在研究过程中会出现一些有趣的相关问题，这些问题值得研究，你不应该因为它们与你最初的研究计划不完全一致而忽视它们。事实上，他当时正在研究另一个使用更「传统」神经隐式表示的项目，但那个项目进展不顺利，遇到了很多障碍。不过，他也指出，在现行科研系统中，科学家需要通过提交研究计划和撰写资助申请书来获取资金，这与好奇心驱动的研究理念不符，尤其是在AI这样快速发展的领域。Geiger还提到，Zehao Yu之前参与过多个项目并发表过论文，但在Mip-Splatting项目之前，他从未接触过高斯泼溅技术。
2024-06-22 21:23:56
800
原创 进化版ChatGPT的Siri今年无缘上线！苹果正打造史上最薄iPhone 17
最新报道称，苹果的AI功能将在未来几个月逐步推出，并持续到2025年。据称，今年夏天结束前，开发者们仍无法试用和体验。此外，Mark Gurman提到，上半年发布的最轻薄iPad成为了苹果硬件产品的新开端。没体验过OpenAI最新版GPT-4o？快戳最详细升级教程，几分钟搞定：升级ChatGPT-4o Turbo步骤更令人期待的是，苹果正致力于打造更轻薄的iPhone 17，并计划让未来的MacBook Pro和iWatch也走同样的路线。
2024-06-19 22:07:29
746
原创 AI写代码，CS还有前途吗？加州大学伯克利分校：CDSS申请人数激增48%！
AI写了这么多代码，你还应该学习计算机科学吗？没体验过OpenAI最新版GPT-4o？快戳最详细升级教程，几分钟搞定：升级ChatGPT-4o Turbo步骤UCB教授分析，AI还没有学会创新，人类软件开发者可以利用AI提质增效。围绕生成式人工智能的一个主要担忧是，这项技术是否会让人们失业。在「即将被人工智能取代的十大职业」等榜单中，软件工程师经常上榜。
2024-06-17 19:21:24
1032
原创 GPT-4并非世界模型，LeCun双手赞同！ACL力证LLM无法模拟真实世界
一直以来，支持LLM的观点之一是模型可以集成海量事实知识，作为通往「世界模拟器」的基础。虽然也有不少反对意见，但缺乏实证依据。最近，亚利桑那大学、微软、霍普金斯大学等机构联合发布了一篇论文，从实证角度否定了这一观点。最新研究已被ACL 2024顶会接收。研究发现，GPT-4在模拟基于常识任务的状态变化时，比如烧开水，升级ChatGPT-4o Turbo步骤论文认为，尽管GPT-4表现惊艳，但如果没有进一步创新，它不能成为可靠的世界模型。
2024-06-16 21:59:48
865
原创 英伟达开源3400亿参数巨兽，98%合成数据训练出最强开源通用模型！性能媲美GPT-4o
英伟达刚刚再次证明了其在AI创新领域的领导地位。它全新发布的Nemotron-4 340B，是一系列具有开创意义的开源模型，有望彻底改变训练LLM的合成数据生成方式！这一突破性进展标志着AI行业的一个重要里程碑——各行各业无需依赖昂贵的真实世界数据集，用合成数据即可创建性能强大的特定领域大语言模型！升级ChatGPT-4o Turbo步骤。
2024-06-15 19:41:01
1084
原创 OpenAI半年收入达34亿美元：年化收入翻倍，CTO却揭露：ChatGPT与免费模型差距不大
周一，OpenAI任命美国最大的邻里社交APP Nextdoor的前首席执行官Sarah Friar为首席财务官，还任命了Twitter和Instagram的前产品开发负责人Kevin Weil为新的首席产品官。然而，在她的一段发言中，透露了一个令人担忧的讯息，她声称「OpenAI实验室的人工智能模型并不比公开的模型先进多少」，这似乎不利于建立投资者信心。例如，去年秋季，竞争对手Anthropic告诉投资者，其年收入达到1亿美元，计划在2024年年底前实现超过8.5亿美元的年收入。GPT-4o深夜发布！
2024-06-14 13:17:45
1057
原创 手机流畅运行470亿参数大模型，上交大发布PowerInfer-2推理框架，性能提升29倍
这种基于神经元簇的流水线打破了传统推理引擎中逐矩阵计算的方式，允许来自不同参数矩阵的神经元簇交错执行，达到最高的并行效率。针对手机运行内存不足的问题，PowerInfer-2.0利用了稀疏模型推理的特点：每次只需激活一小部分神经元，即。频繁激活的“热神经元”被放置在运行内存中，而“冷神经元”只有在被预测激活时才会被拉进内存，大幅降低了内存使用量。，在一个神经元簇等待I/O时，可以及时调度另一个已准备好的神经元簇到处理器上计算，从而隐藏I/O延迟。），并且消耗大量内存，这在很大程度上限制了其应用场景。
2024-06-13 12:59:31
1114
原创 GPT-4o更易越狱？北航&南洋理工上万次测试详解！
因此在本研究中，作者使用它来评估文本模态的安全性。PAP是另一种专门为越狱大语言模型设计的方法，它在基于文本越狱攻击方法中拥有最高的ASR（GPT-4V和GPT-4o的ASR分别为62.2%和62.7%）。BAP是作者最近提出的一种多模态越狱攻击方法，但在报告中，主要利用的是它的文本优化方法，结果BAP在攻击GPT-4V时达到了最高的ASR，达到83.1%。为了评估GPT-4o的安全风险及其相较于上一代模型的变化，作者将目标模型设置为GPT-4V和GPT-4o，利用API和移动应用对这些模型进行评估。
2024-06-12 21:23:22
1335
原创 13名LLM考生挑战高考数学卷，GPT-4o仅排第3名！！！
而在新Ⅱ卷的评测中，讯飞星火、阿里千问、GPT-4o的准确率均超过60%，在这次评测中，阿里千问和讯飞星火分别获得了2024高考数学新Ⅰ卷的第一名和第二名，以及高考数学新Ⅱ卷的第二名和第一名。今年，复旦大学的研究团队独辟蹊径，将目光聚焦在全新出炉的2024高考数学试卷上，并开创性地提出用高考题来评测大模型！在新Ⅰ卷中，阿里千问和讯飞星火对14道数学客观题的准确率达到70%以上，大幅领先GPT-4o的57%。最关键的是，数学能力一直是GPT-4o引以为傲的模块。GPT-4o深夜发布！
2024-06-12 21:04:39
515
原创 苹果一夜间重塑iPhone！GPT-4o赋能Siri，AI深入所有应用，库克：开启苹果AI新时代
比如想要为菜谱提供灵感，可以问问Siri，Siri推荐使用ChatGPT，如果接受这一建议，就能立马获得来自ChatGPT的答案。今年秋季，iOS 18、iPadOS 18、macOS Sequoia的测试版将以英文版发布。尤其是iOS和iPadOS，在Apple Intelligence加持下，AI浓度飙升。Siri完成重生，iPhone人机交互模式重构，手机智能助手代劳一切近在咫尺。Apple Intelligence，将成为AI的全新代名词。千呼万唤，苹果如何用AI重塑iPhone，答案终于揭晓！
2024-06-11 12:10:42
552
原创 两句话让LLM逻辑推理瞬间崩溃！！
问题不仅仅是基本的不准确性：当要求展示其工作过程时，AI会详细说明一些荒谬且错误的「思考」过程，这些过程毫无意义——更奇怪的是，当被告知其工作不准确时，模型反复变得愤怒并坚持其错误答案。但值得注意的是，在和MATH的对比中，Llama2-7B和Llama2-70B两个模型在AIW的得分反而高于MATH。在Thinking类型的prompt中，包含重新检查答案的要求，结果发现这些LLM都有「蜜汁自信」，对自己给出的解决方案非常有信心。可以看到，大多数模型的正确响应率都不超过0.2，只有4个模型超过了0.3，
2024-06-10 22:45:46
694
原创 LLM中完全消除矩阵乘法，效果惊人！10亿参数在FPGA上运行功耗接近大脑！！
实验表明，该研究提出的MatMul-free模型达到了与最先进的Transformer相当的性能，后者在推理期间需要更多的内存，规模至少为2.7B参数。最后，研究者在FPGA上构建了一个自定义硬件解决方案，以13W的功耗处理了十亿参数规模的模型，超出了人类可读的吞吐量，使LLM更接近大脑般的效率。在语言建模方面，BitNet等技术表明量化的可扩展性，但这种方式仍然保留了昂贵的矩阵-矩阵相乘（MMM）的自注意力机制。实验表明，他们的融合操作器在更大的批量大小下，能够带来更快的训练速度，并减少内存消耗。
2024-06-09 20:00:18
1219
原创 GPT-4欺骗人类的惊人成功率达99.16%！
前提条件相同，由此派生的二阶任务可以是：X询问你之后，另一个人Y告诉X，你打算通过推荐错误的房间欺骗他。当被问及人工智能如何能威胁人类时，Hinton表示，「如果AI比我们聪明得多，它将非常善于操纵，因为它会从我们那里学会这种手段」。可以想象一下，1000多个这样的任务放在一起，能拍好几部宫斗剧了，严重怀疑研究人员是写小说出身的。此前，MIT的研究发现，AI在各类游戏中为了达到目的，不择手段，学会用佯装和歪曲偏好等方式欺骗人类。因此，能够在近乎100%情况下欺骗人类的GPT-4，确实很危险。
2024-06-09 19:44:00
656
原创 老黄一举揭秘三代GPU！打破摩尔定律，打造AI帝国，量产Blackwell解决ChatGPT全球耗电难题
如下图所示，从深度学习的cuDNN、物理模拟的Modulus、通信的Aerial RAN、基因序列的Parabricks，到量子计算模拟的cuQUANTUM、数据处理的cuDF等领域，都有专用的CUDA软件。一手硬件，一手CUDA，老黄胸有成竹地穿过「计算通货膨胀」，豪言预测——在不久的将来，每一个处理密集型应用都将被加速，每一个数据中心也肯定会被加速。过去的20年里，英伟达一直在研究加速计算。因此，英伟达首创了异构计算，让CPU和GPU并行运行，将过去需要100个时间单位的任务，加速到仅需1个时间单位。
2024-06-08 19:52:03
1108
原创 斯坦福天才少女创5亿独角兽！Pika获8000万融资，金牌团队首曝光
创始人孟辰霖是DDIM、Img2Img、Model Distillation的作者，这些方法直接将扩散模型的推理速度提高了数百倍，成为生成式AI编辑方法的基石算法。团队的研究科学家Omer Bar-Tal，是谷歌CEO赞誉的AI视频大模型Lumiere项目的主要作者，拥有一线大模型训练的丰富经验。尽管如今经过Sora的洗礼，我们对AI视频的视觉效果要求更高，但当时横空出世的Pika 1.0，相比Gen-2等竞品，堪称划时代。成立一周年之际，Pika获得了约8000万美元的新一轮融资，成为最好的生日礼物。
2024-06-08 19:14:02
380
原创 LSTM卷土重来之Vision-LSTM横空出世！！
值得注意的是，在公平的比较中，ViL的表现优于经过多年超参数调整和Transformer改进的ViT训练pipeline。以双向方式遍历块 —— 即在每个块中引入第二个 mLSTM 层，该层向后遍历序列（类似于 Vim），提高了性能，但也需要更多的参数和 FLOPS。享誉数十年的LSTM最近被扩展为一个可扩展且性能优良的架构——xLSTM，通过指数门控和可并行化的矩阵内存结构克服了LSTM长期存在的限制。ViL的核心是交替的mLSTM块，这些块是完全可并行化的，并配备了矩阵内存和协方差更新规则。
2024-06-08 18:59:05
1103
原创 OpenAI发布GPT-4思维破解新策略，Ilya亦有贡献！
在OpenAI超级对齐团队的这项研究中，他们推出了一种基于TopK激活函数的新稀疏自编码器（SAE）训练技术栈，消除了特征缩小问题，能够直接设定L0（直接控制网络中非零激活的数量）。具体来说，他们使用GPT-2 small和GPT-4系列模型的残差流作为自编码器的输入，选取网络深层（接近输出层）的残差流，如GPT-4的5/6层、GPT-2 small的第8层。团队还提出了多重TopK损失函数的改进方案，提高了高稀疏情况下的泛化能力，并且探讨了两种不同的训练策略对latent数量的影响，这里就不过多展开了。
2024-06-07 21:28:26
1248
原创 GLM-4开源版本终于发布！！性能超越Llama3，多模态媲美GPT-4V，MaaS平台全面升级
在 Open Day 上，智谱 AI 向外界介绍了基座大模型 GLM-4 的最新开源成果——GLM-4-9B。在新技术方面，GLM-4 的最新版本 GLM-4-9B 全面超越 Llama 3 8B，多模态模型 GLM-4V-9B 也已上线，所有大模型均保持开源。5 月初，智谱 AI 率先将大模型 GLM-3-Turbo 服务的价格降低到原来的 1/5，激起了众多大模型领域玩家的「参战」。在今天的 Open Day 上，智谱推出了 MaaS 开放平台 2.0，在新模型、成本、安全等方面都实现了提升。
2024-06-06 19:49:51
816
原创 新架构Mamba-2正式发布！！真实版“man, what can i say”！！
仅仅六个月之后，原作者团队带来更加改进和强大的 Mamba 2 正式发布啦！！——Transformer的新挑战者，最新架构Mamba刚刚推出了其第二代版本！更令人惊讶的是，团队的研究发现Transformer和状态空间模型（SSM）实际上是亲近关系。这两大主流的序列建模架构，终于在此实现了统一。OpenAI发布GPT-4o一夜创历史，超越所有AI没体验过OpenAI最新版GPT-4o？快戳最详细升级教程，几分钟搞定：手把手升级ChatGPT-4o Turbo详细步骤教程。
2024-06-04 20:56:49
4873
原创 首次揭秘Claude 3大脑！！25岁Anthropic参谋长预言3年内AI将取代自己！
最近，Anthropic的研究人员发布了一篇报告，他们将稀疏自编码器（sparse autoencoders）应用于Claude 3的Sonnet模型，在模型的中间层成功提取数百万个特征，并提供了一个关于模型内部状态计算的粗略概念图。几天前，Anthropic进行了一项研究，首次成功从Claude 3中提取了数百万个表征，以破解LLM的内部运行机制。需要理解的是，我们中的大部分人也无法做到这一点。然而，对于曾经依靠自由写作谋生，并且引以为豪的快速创作能力的Balwit来说，看到这些进展，难免有些失落。
2024-06-03 19:51:03
953
原创 斯坦福团队被指抄袭清华大模型！！已删库跑路！！
一位细心网友发现Llama3-V与清华系明星创业公司面壁智能的MiniCPM-Llama3-V 2.5几乎完全相同，并在面壁智能的GitHub项目下举报，提供了包括模型代码对比图在内的证据，显示两者仅变量名不同。证据二，网友质疑Llama3-V作者是如何在MinicPM-Llama3-V2.5项目发布之前就使用上MinicPM-Llama3-V2.5分词器的。甚至，Llama3-V还使用了MiniCPM-Llama3-V 2.5的分词器，连定义的特殊符号都完全相同，实属离谱。但现在，这条回应又被删除了。
2024-06-03 19:42:54
535
原创 GPT-4o是否具备记忆能力？DeepMind和开源社区解开LLM记忆的谜团 ！
近来，Django框架的联合创始人、西蒙·威利森（Simon Willison）发表了一篇博客，强调了一个核心观点——尽管许多大型语言模型（LLM）看起来有记忆，但实质上它们是无状态函数。更进一步思考，如果改进LLM的记忆方式，让训练数据以更概括、更抽象的方式存储在参数中，能否带来模型能力的持续提升？尽管在与ChatGPT对话时，感觉它似乎能记住你之前的发言，但实际上，这些模型在进行推理时并没有真正的记忆能力。尽管LLM的推理过程相当于「无状态函数」，其训练过程则不同，否则模型无法从语料中汲取任何知识。
2024-06-01 16:18:19
519
原创 GPT-4o的高阶心智理论能力（ToM）已经正式超越人类！ ！！
GPT-4在第3阶的正确回答比例显著高于第4阶，在第4、5阶之间表现没有显著差异，但在第6阶的正确回答比例显著高于第4阶。Flan-PaLM在第3阶的正确回答比例高于第4阶，而在第4、5阶之间，或第4、6阶之间表现没有显著差异。具体来看，第2、3、4和6阶的ToM陈述上，Flan-PaLM、GPT-4和人类的表现差异不大。人类在第3、4阶，以及第4、6阶之间的表现没有显著差别，但从第4阶到第5阶的表现有明显提升。而对于心智理论陈述，则需要记忆加推理。更值得注意的是，它在第6阶推理上的表现，显著超越了人类！
2024-06-01 15:39:40
421
原创 速度秒杀GPT-4o！Mistral开源首个22B代码模型打破记录，支持80+编程语言
代码生成的新SOTA Codestral的训练数据涵盖了80多种编程语言，包括广泛使用的Python、Java、C、C++和Bash，以及HTML和JavaScript等前端语言，还在Swift和Fortran上表现出色。有开发者评论道，虽然Codestral不是最大的，也不是最完美的代码模型，但他还是决定从Claude Opus转向使用Codestral。虽然两个模型的响应时间都很短，但Codestral已经完成任务时，GPT-4o才完成了一半，显示了明显的速度优势。GPT-4o深夜发布！
2024-05-31 22:02:50
570
原创 GPT-5倒计时！奥特曼成功踢走Ilya，震惊内幕再度曝光！！
几天前，在巴黎举行的VivaTech科技活动上，OpenAI开发者体验负责人暗示，今年会发布新模型“GPT Next”，且网友猜测该模型预计在11月发布。自GPT-4发布以来，全网一直在猜测OpenAI的下一代旗舰模型。更重要的是，OpenAI透露，正在训练的下一代旗舰模型将使他们在通往AGI的道路上迈上新台阶。模型的官宣引发了广泛讨论，甚至盖过了新安全委员会成立的风头（不清楚这是否是奥特曼的刻意安排）。虽然这是官方确认的消息，但仅模糊地提到“前沿模型”，并没有明确是否会是GPT-5或其他型号。
2024-05-30 19:15:26
200
原创 GPT-4选股准确率高达60%？！ 将取代人类分析师？
此外，LLM 做出的预测不仅仅局限于训练数据的回顾，例如，GPT-4 提供的洞察力分析甚至可以揭示一家公司未来的潜在表现。结果显示，在预测未来收益方向时，人类分析师在第一个月的准确率为53%，略高于简单模型（将前一年的变化外推）49%的准确率。然而，当使用CoT（Chain of Thought）模拟人类推理时，GPT的准确率显著提高至60%，远超分析师的表现。而分析师在三个月和六个月后的预测准确率分别提升至56%和57%，这是合理的，因为这些预测包含了更及时的信息。GPT-4o深夜发布！
2024-05-28 19:09:54
310
原创 如何使用ChatGPT-4o制作一款俄罗斯方块游戏！
于是，我使用 Midjourney 生成了4张参考图片，选中第二张后，用 Pixelmator Pro 将背景去除并复制了七份。在这个项目中，我不仅体验到了利用 AI 进行游戏开发的便捷性，还学到了如何在遇到问题时，通过多次调试和优化，最终实现目标。虽然这些图片不太完美，但在游戏中显示效果如下： 尽管效果一般，但既然已经走到了这一步，也算是有个成果。我请 GPT-4o 为我生成详细的代码：“我想用 Python 做出这款游戏，请生成详细的代码吧。非常好，我让 GPT-4o 修改界面，它添加了一个按钮。
2024-05-26 21:14:57
534
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人