- 博客(11)
- 收藏
- 关注
RSS订阅原创 Google CEO谈AI搜索：未来的搜索可能比你的心还懂你；AI有时候可能只是假装聪明
我们的数据会显示，超过 25 年，如果你没有做一些用户发现有价值或愉快的事，他们会立即告诉我们。一次又一次我们看到这个。通过这次转变，一切都将走向反方向，这是我们正在推动的产品中最大的质量改进之一，人们重视这种体验。有一种普遍的假设，人们不知道他们在做什么，我强烈反对。使用谷歌的人是聪明的，他们理解在做什么。所以，对我来说，我可以给出很多例子，我作为用户使用AI概览。我就像，“哦，这是在提供上下文。哦，也许有这些维度我甚至没有考虑在我的原始查询中。我怎么扩展它并看看它？
2024-08-26 14:25:16
428
原创 Karpathy狂赞AI代码神器Cursor，直言回不到3年前无辅助编码了，却被指「带货」
原来质疑者针对的是 Karpathy 放出的花 20 美元购买 Cursor Pro 的链接，在没有任何背景的情况下，看起来就像是付费推销。接着，Karpathy 放上了 Cursor AI 代码编辑器的网站链接，并表示花 20 美元就能购买 Pro 版，然后在 Cursor 设置中选择 Sonnet 3.5。不过，他也提醒道，这套设置对新手不太友好，建议他们多看教程视频。昨天，Karpathy 分享了自己结合使用 AI 代码编辑器与大模型的心得体验，并发出了由衷的感叹：编程领域变化太快了。
2024-08-26 14:24:03
73
原创 用于复杂RAG任务的先进可控Agent
该算法使用第一本哈利·波特书籍进行了测试，允许监控模型对检索信息与预训练知识依赖度的对比。这种选择使我们能够验证模型是在使用其预训练的知识，还是严格依赖从向量存储中检索到的信息。Agent能够分解并解决这样复杂的查询，展示了其复杂的推理能力。）开源解决方案，旨在解决简单的基于语义相似性的检索无法解决的。：作为Agent的“大脑”，使复杂推理成为可能。去匿名化计划并将其分解为可检索或可回答的任务。：能够回答自定义数据集中的复杂问题。”，能够回答来自私域数据的复杂问题。：将复杂查询分解为可管理的子任务。
2024-08-25 15:13:04
152
原创 重返母校，李沐深入畅谈LLM与个人生涯，演讲内容全收录！
图源：上海交通大学特聘教授俞勇朋友圈。Hi！大家好，说我是计算机杰出校友有点不敢当。很多年没有回来，这次回国想见一见本科导师。我的 AI 启蒙导师李老师说，来都来了，要不做个报告吧。本来我想讲一些关于语言模型的知识，但听讲座的各位不一定都是这个方向，所以我加了一些这些年转了很多地方、做出的不同选择的感想。第一部分我会讲得稍微技术一点，是有关整个语言模型的现在，以及未来情况的预测。语言模型可以分为三块：算力、数据和算法。所以语言模型也好，整个机器学习模型也好，本质上就是
2024-08-25 15:12:07
1240
原创 65位高校教师接龙晒工资，全国各地高校，给打算入高校的博士们参考！
有人说教师低，俺给你们说个，重庆国企上市公司，工作10年以上，高级工程师职称，副科级，一个月到手3500，年底奖一个月，一年到手45000左右，同公司留德海龟工资6000到手，年底也就多一个月，他老婆重庆一大学同城“211”“985”博士，讲师一个月3500，想想吧，多少人一个月5000都拿不到，别说你累，绝大部分工作比老师累，钱也少。前东家，上海某民办大专，硕士，助教，每周12节课，4500元每月。沈阳，博士，讲师，中级，4000*12，无绩效，无奖金，科研奖励欠着不发，一年5万不到，哭死。
2024-08-25 15:10:09
151
原创 一文看懂GraphRAG：蚂蚁集团联合各所名校出品GraphRAG综述
GraphRAG 是借助外部结构化知识图谱来增进语言模型的上下文理解，并生成更具洞见响应的框架。GraphRAG 的目标在于从数据库中检索出最为相关的知识，进而提升下游任务的答案质量。鉴于候选子图的数量会随着图的规模呈指数增长，故而需要有效的近似方法。由此，运用图检索器提取最优子图 ，而后生成器依据检索到的子图生成答案。所以，将 GraphRAG 的整个流程拆解为三个主要阶段：基于图的索引、图引导检索和图增强生成。
2024-08-24 20:42:47
542
原创 一文讲明白大模型显存占用（只考虑单卡）
顾名思义，混合精度训练就是将多种不同的精度数据混合在一起训练，《 MIXED PRECISION TRAINING 》这篇论文里将FP16和FP32混合，优化器用的是Adam，如下图所示：MIXED PRECISION TRAINING论文里的训练流程图按照训练运行的逻辑来讲：Step1:优化器会先备份一份FP32精度的模型权重，初始化好FP32精度的一阶和二阶动量（用于更新权重）。Step2:开辟一块新的存储空间，将FP32精度的模型权重转换为FP16精度的模型权重。
2024-08-24 20:42:11
454
原创 挑战《黑神话：悟空》：你的电脑配置够格吗？
无论哪个配置等级，官方都建议至少有 130GB 的存储空间，虽然支持机械硬盘，但推荐使用固态硬盘（SSD）以获得更快的加载速度和更流畅的游戏体验。《黑神话：悟空》支持全景光线追踪技术，这意味着游戏的光影效果将达到前所未有的逼真程度,但要开启这一功能，你的电脑配置需要达到一定的标准。根据官方发布的配置要求，我们可以将《黑神话：悟空》的配置分为三个等级：最低配置、推荐配置和最佳体验配置。《黑神话：悟空》取材自中国古典名著《西游记》，玩家将扮演齐天大圣孙悟空，体验一段惊心动魄的冒险旅程。
2024-08-24 20:30:09
386
原创 IntactKV：保持关键词元无损的大语言模型量化方法
我们发现，模型量化会不可避免地导致关键词元表征受损，进而严重影响模型精度，因此如果能保证关键词元的表征，也就是其KV cache无损，就能有效降低量化误差。为此，我们提出使用IntactKV—先使用全精度模型生成关键词元的无损KV cache并将其缓存下来（i.e., IntactKV），量化模型在推理时就能直接使用无损的关键词元表征，从而有效提升量化模型精度。
2024-08-24 10:26:50
716
原创 《黑神话：悟空》开发者被猎头疯抢，联创发声求放过：你们不缺人才，别搞我们
面对网络上铺天盖地的关于“员工疯狂被挖”的话题，《黑神话：悟空》的游戏制作人表示：“我们非常尊重每一位员工的意愿和选择，我们也鼓励他们能够按照自己的心意去追求自己的梦想。这在以往游戏开发领域简直是不可想象的，以往都是搞动作的就专注搞动作，其它方面几乎不会涉猎，可想而知整个，《黑神话：悟空》的开发团队，真的是一帮全能型人才。“据说游戏科学当初立项之后，对外释放招聘需求，有一万多人投简历，但游戏科学的要求奇高无比：要能独立完成一个关卡，并完成数值匹配，还要完成地图和战斗的设计，时间方面只给到两周。
2024-08-24 10:26:19
456
原创 一篇GraphRAG技术最新全面综述
检索范式：讨论了不同的检索范式，包括一次性检索（Once Retrieval）、迭代检索（Iterative Retrieval）和多阶段检索（Multi-Stage Retrieval），它们在提高检索信息的相关性和深度方面起着重要作用。几种工业界的GraphRAG系统，包括微软的GraphRAG、NebulaGraph的GraphRAG、蚂蚁集团的GraphRAG、Neo4j的NaLLM框架以及Neo4j的LLM Graph Builder项目。这些自构建的图与特定方法的设计紧密相关。
2024-08-24 10:25:36
490
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人