- 博客(11)
- 收藏
- 关注
原创 Google CEO谈AI搜索:未来的搜索可能比你的心还懂你;AI有时候可能只是假装聪明
我们的数据会显示,超过 25 年,如果你没有做一些用户发现有价值或愉快的事,他们会立即告诉我们。一次又一次我们看到这个。通过这次转变,一切都将走向反方向,这是我们正在推动的产品中最大的质量改进之一,人们重视这种体验。有一种普遍的假设,人们不知道他们在做什么,我强烈反对。使用谷歌的人是聪明的,他们理解在做什么。所以,对我来说,我可以给出很多例子,我作为用户使用AI概览。我就像,“哦,这是在提供上下文。哦,也许有这些维度我甚至没有考虑在我的原始查询中。我怎么扩展它并看看它?
2024-08-26 14:25:16
428
原创 Karpathy狂赞AI代码神器Cursor,直言回不到3年前无辅助编码了,却被指「带货」
原来质疑者针对的是 Karpathy 放出的花 20 美元购买 Cursor Pro 的链接,在没有任何背景的情况下,看起来就像是付费推销。接着,Karpathy 放上了 Cursor AI 代码编辑器的网站链接,并表示花 20 美元就能购买 Pro 版,然后在 Cursor 设置中选择 Sonnet 3.5。不过,他也提醒道,这套设置对新手不太友好,建议他们多看教程视频。昨天,Karpathy 分享了自己结合使用 AI 代码编辑器与大模型的心得体验,并发出了由衷的感叹:编程领域变化太快了。
2024-08-26 14:24:03
73
原创 用于复杂RAG任务的先进可控Agent
该算法使用第一本哈利·波特书籍进行了测试,允许监控模型对检索信息与预训练知识依赖度的对比。这种选择使我们能够验证模型是在使用其预训练的知识,还是严格依赖从向量存储中检索到的信息。Agent能够分解并解决这样复杂的查询,展示了其复杂的推理能力。)开源解决方案,旨在解决简单的基于语义相似性的检索无法解决的。:作为Agent的“大脑”,使复杂推理成为可能。去匿名化计划并将其分解为可检索或可回答的任务。:能够回答自定义数据集中的复杂问题。”,能够回答来自私域数据的复杂问题。:将复杂查询分解为可管理的子任务。
2024-08-25 15:13:04
152
原创 重返母校,李沐深入畅谈LLM与个人生涯,演讲内容全收录!
图源:上海交通大学特聘教授俞勇朋友圈。Hi!大家好,说我是计算机杰出校友有点不敢当。很多年没有回来,这次回国想见一见本科导师。我的 AI 启蒙导师李老师说,来都来了,要不做个报告吧。本来我想讲一些关于语言模型的知识,但听讲座的各位不一定都是这个方向,所以我加了一些这些年转了很多地方、做出的不同选择的感想。第一部分我会讲得稍微技术一点,是有关整个语言模型的现在,以及未来情况的预测。语言模型可以分为三块:算力、数据和算法。所以语言模型也好,整个机器学习模型也好,本质上就是
2024-08-25 15:12:07
1240
原创 65位高校教师接龙晒工资,全国各地高校,给打算入高校的博士们参考!
有人说教师低,俺给你们说个,重庆国企上市公司,工作10年以上,高级工程师职称,副科级,一个月到手3500,年底奖一个月,一年到手45000左右,同公司留德海龟工资6000到手,年底也就多一个月,他老婆重庆一大学同城“211”“985”博士,讲师一个月3500,想想吧,多少人一个月5000都拿不到,别说你累,绝大部分工作比老师累,钱也少。前东家,上海某民办大专,硕士,助教,每周12节课,4500元每月。沈阳,博士,讲师,中级,4000*12,无绩效,无奖金,科研奖励欠着不发,一年5万不到,哭死。
2024-08-25 15:10:09
151
原创 一文看懂GraphRAG:蚂蚁集团联合各所名校出品GraphRAG综述
GraphRAG 是借助外部结构化知识图谱来增进语言模型的上下文理解,并生成更具洞见响应的框架。GraphRAG 的目标在于从数据库中检索出最为相关的知识,进而提升下游任务的答案质量。鉴于候选子图的数量会随着图的规模呈指数增长,故而需要有效的近似方法。由此,运用图检索器提取最优子图 ,而后生成器依据检索到的子图生成答案。所以,将 GraphRAG 的整个流程拆解为三个主要阶段:基于图的索引、图引导检索和图增强生成。
2024-08-24 20:42:47
542
原创 一文讲明白大模型显存占用(只考虑单卡)
顾名思义,混合精度训练就是将多种不同的精度数据混合在一起训练,《 MIXED PRECISION TRAINING 》这篇论文里将FP16和FP32混合,优化器用的是Adam,如下图所示:MIXED PRECISION TRAINING论文里的训练流程图按照训练运行的逻辑来讲:Step1:优化器会先备份一份FP32精度的模型权重,初始化好FP32精度的一阶和二阶动量(用于更新权重)。Step2:开辟一块新的存储空间,将FP32精度的模型权重转换为FP16精度的模型权重。
2024-08-24 20:42:11
454
原创 挑战《黑神话:悟空》:你的电脑配置够格吗?
无论哪个配置等级,官方都建议至少有 130GB 的存储空间,虽然支持机械硬盘,但推荐使用固态硬盘(SSD)以获得更快的加载速度和更流畅的游戏体验。《黑神话:悟空》支持全景光线追踪技术,这意味着游戏的光影效果将达到前所未有的逼真程度,但要开启这一功能,你的电脑配置需要达到一定的标准。根据官方发布的配置要求,我们可以将《黑神话:悟空》的配置分为三个等级:最低配置、推荐配置和最佳体验配置。《黑神话:悟空》取材自中国古典名著《西游记》,玩家将扮演齐天大圣孙悟空,体验一段惊心动魄的冒险旅程。
2024-08-24 20:30:09
386
原创 IntactKV:保持关键词元无损的大语言模型量化方法
我们发现,模型量化会不可避免地导致关键词元表征受损,进而严重影响模型精度,因此如果能保证关键词元的表征,也就是其KV cache无损,就能有效降低量化误差。为此,我们提出使用IntactKV—先使用全精度模型生成关键词元的无损KV cache并将其缓存下来(i.e., IntactKV),量化模型在推理时就能直接使用无损的关键词元表征,从而有效提升量化模型精度。
2024-08-24 10:26:50
716
原创 《黑神话:悟空》开发者被猎头疯抢,联创发声求放过:你们不缺人才,别搞我们
面对网络上铺天盖地的关于“员工疯狂被挖”的话题,《黑神话:悟空》的游戏制作人表示:“我们非常尊重每一位员工的意愿和选择,我们也鼓励他们能够按照自己的心意去追求自己的梦想。这在以往游戏开发领域简直是不可想象的,以往都是搞动作的就专注搞动作,其它方面几乎不会涉猎,可想而知整个,《黑神话:悟空》的开发团队,真的是一帮全能型人才。“据说游戏科学当初立项之后,对外释放招聘需求,有一万多人投简历,但游戏科学的要求奇高无比:要能独立完成一个关卡,并完成数值匹配,还要完成地图和战斗的设计,时间方面只给到两周。
2024-08-24 10:26:19
456
原创 一篇GraphRAG技术最新全面综述
检索范式:讨论了不同的检索范式,包括一次性检索(Once Retrieval)、迭代检索(Iterative Retrieval)和多阶段检索(Multi-Stage Retrieval),它们在提高检索信息的相关性和深度方面起着重要作用。几种工业界的GraphRAG系统,包括微软的GraphRAG、NebulaGraph的GraphRAG、蚂蚁集团的GraphRAG、Neo4j的NaLLM框架以及Neo4j的LLM Graph Builder项目。这些自构建的图与特定方法的设计紧密相关。
2024-08-24 10:25:36
490
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人