- 博客(896)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 Transformer在2027年还是SOTA吗？
后台留言『交流』，加入 NewBee讨论组现在ChatGPT等大模型一大痛点：处理长文本算力消耗巨大，背后原因是Transformer架构中注意力机制的二次复杂度。FlashAttention作者Tri Dao参与提出的新架构，成为有力挑战者，引起大量关注：Mamba（曼巴，一种蛇），在语言任务上击败/匹配Transformer性能，具有线性复杂度和5倍推理吞吐量。具体来说，Mamba在语言、音频...
2023-12-06 11:05:28
4
原创 奥创纪元：当推荐系统遇到大模型LLM
https://zhuanlan.zhihu.com/p/668673674大家好，我是kaiyuan。大模型LLM在越来越多的领域开始崭露头角，比如我们在今年上半年曾在某电商平台落地过较为直观简单的LLMx搜索项目（我们称之为LLM应用的第一阶段），同时拿到线上收益，LLM的潜力可见一斑。如果你也对LLM颠覆搜推广范式充满期待（虽然可能还要不少时间），持续梳理follow大模型在推荐系统中的应用...
2023-12-04 11:05:57
831
转载 ChatGPT一周年，梳理了一份开源大模型调研
作者|陈海林，焦方锴，李星漩，秦成伟，赵若辰整理|机器之心后台留言『交流』，加入 NewBee讨论组论文旨在成为研究界和商业领域的重要资源，帮助他们了解开源大模型的当前格局和未来潜力。一年前的今天，ChatGPT 横空出世，人工智能的新时代似乎已经到来。短短两个月，ChatGPT 积累了一亿用户，速度远超 TikTok 和 YouTube 等热门应用；似乎每隔几天就会有新的基于生成式人工...
2023-12-01 11:05:13
19
转载 WSDM'24 | 工业界搜广推工作整理
大家好，这里是NewBeeNLP。梳理大厂WSDM2024搜广推工作，主要按照公司维度来梳理，排名不分先看。文末我会精选各个公司个人认为比较有意思的工作，按照方向来归类整理。阿里 因果推断 | CausalMMM: Learning Causal Structure for Marketing Mix ModelingChang Gong (Institute of Computing Techn...
2023-11-30 11:05:54
20
原创 23年算法岗社招面经分享
作者|CKLSniper整理|NewBeeNLPhttps://zhuanlan.zhihu.com/p/667640178后台留言『交流』，加入 NewBee讨论组一晃眼在MT已经呆了两年多了，在某一个时间点出于种种原因突然萌生了出去找工作的想法，稍微准备了几个星期以后就开始集中面试，运气不错最终上岸，这件事情尘埃落定以后就稍微复盘一下吧。几点感触：感觉知乎上关于今年互联网不好找工作的...
2023-11-30 11:05:54
774
转载 超长序列推荐：如何让推荐系统“读懂”你的“人生轨迹”
©作者｜张高玮机构｜中国人民大学研究方向｜推荐系统本文聚焦于超长序列推荐问题，将相关工作分为基于记忆增强网络的方法和基于检索的方法，分别探讨了其优缺点与可能的发展。一、引言随着电商平台数据的不断积累，每个用户都会积累大量的历史行为数据，形成一个超级长的行为序列。超长序列推荐的问题应运而生，其研究在用户行为序列非常长的情况下，如何利用这些历史数据来预测用户的兴趣并进行推荐。这种情况在许多领域中都很...
2023-11-29 11:05:37
16
转载 大模型中的Scaling Law计算方法
作者|nghuyonghttps://zhuanlan.zhihu.com/p/667489780后台留言『交流』，加入 NewBee讨论组在大模型的研发中，通常会有下面一些需求：1.计划训练一个10B的模型，想知道至少需要多大的数据？2.收集到了1T的数据，想知道能训练一个多大的模型？3.老板准备1个月后开发布会，给的资源是100张A100，应该用多少数据训多大的模型效果最好？4.老板对现...
2023-11-27 11:05:40
16
转载 TIGER：基于生成式检索的推荐系统
标题：Recommender Systems with Generative Retrieval地址：https://arxiv.org/pdf/2305.05065.pdf会议：NeurIPS 2023学校：威斯康星大学，谷歌1.导读现代推荐系统主要是通过在同一空间中构建查询emb和item的emb，然后通过大规模检索，在给定查询emb的情况下进行近似近邻搜索以选择最佳item。本文提出了一种新...
2023-11-24 11:05:55
16
转载 一封信导致Sam Altman被开除？神秘「Q*」项目曝光，进化令人震惊
后台留言『交流』，加入 NewBee讨论组Sam Altman 被开除之前发生了什么？OpenAI 的「真还传」剧情昨天迎来了大结局。但今天，事件主角 Sam Altman 又上了热搜。路透社报道称，在 Sam Altman 被董事会开除四天之前，几名研究人员向董事会发送了一封信，警告他们 OpenAI 已经有了一项重大的人工智能发现，而这项发现可能会威胁到人类。知情人士称，这封以前未报道的信件和...
2023-11-24 11:05:55
19
转载 独家揭秘！用AI大模型「改造」QQ浏览器搜索
NewBeeNLP专栏作者：周天华、马晋、刘杰腾讯QQ浏览器搜索应用部整理：机器之心1：引言自从搜索引擎问世以来，信息检索算法历经多次技术更迭，其演进的历程可大致归纳为四个技术代际：1.0 文本索引 ->2.0 超链分析 ->3.0 机器学习 ->4.0 深度学习。2022 年底，ChatGPT 成为全球技术焦点，其具备的多轮对话、推理和对长文本的理解能力，解决了以往搜索引擎所无...
2023-11-22 11:05:18
21
转载 他山之石 | 淘宝推荐重排模型
后台留言『交流』，加入 NewBee讨论组导读本文主题为融合复杂目标且支持实时调控的重排模型在淘宝流式推荐场景的应用，其中第一个关键词是重排模型，有两个定语，一是支持复杂的目标，二是目标之间的权重可以实时调节，今天主要讨论这样的重排模型在手淘信息流式场景的应用。主要内容包括以下几大部分：1. 信息流场景面临的挑战与重排模型的独特优势2. 重排模型的建模范式总结3.有机融入多目标的重排模型4.基...
2023-11-20 11:06:55
23
转载 突发！奥特曼被解雇，OpenAI董事会内讧
后台留言『交流』，加入 NewBee讨论组源 | 量子位OpenAI突发公告，宣布领导层换届。高层内讧，Sam Altman被董事会解雇，不再担任CEO。这一决定由董事会作出，经过深思熟虑和审查程序后，结论是：奥特曼先生在与董事会的沟通中始终不坦诚，阻碍了董事会履行职责的能力。董事会不再对他继续领导OpenAI的能力充满信心。太突然，ChatGPT发布接近一周年，奥特曼几乎一直是OpenAI的的...
2023-11-18 11:01:03
67
转载 垂直领域大模型落地思考
作者|nghuyonghttps://zhuanlan.zhihu.com/p/652645925后台留言『交流』，加入 NewBee讨论组相比能做很多事，但每件事都马马虎虎的通用大模型；只能做一两件事，但这一两件事都能做好，可被信赖的垂直大模型会更有价值。这样的垂直大模型能帮助我们真正解决问题，提高生产效率。本文将系统介绍如何做一个垂直领域的大模型，包括继续预训练，领域微调数据构建，减缓幻觉...
2023-11-17 11:05:28
26
转载 用LLM生成反驳：首先洞察审稿人的心理，再巧妙回应！
深度学习自然语言处理 原创作者：Winnie在科研领域，同行评审(review-rebuttal)是保证学术质量的关键环节。这一过程中的辩论和反驳非常具有挑战性。传统的同行评审生成任务通常集中在表面层面的推理。研究人员发现，考虑论点背后的态度根源和主题可以提高反驳的有效性。今天介绍的这篇研究将心理学理论与辩论技术相结合，为计算辩论领域带来了新的视角。具体来说，文章主要做了以下工作：提出了一种全新的...
2023-11-16 11:05:18
17
转载 大模型架构创新已死？
源|量子位一场围绕大模型自研和创新的讨论，这两天在技术圈里炸了锅。起初，前阿里技术VP贾扬清，盆友圈爆料吐槽：有大厂新模型就是LLaMA架构，但为了表示不同，通过改变开源代码名字、替换几个变量名……一石激起千层浪，更晚一些时候，“大厂”被与零一万物关联，其刚发布的新模型Yi-34B被指与LLaMA架构如出一辙。零一万物很快给出了说明和回应。但热议并未就此平息，甚至围绕大模型原创、自研的标准，开...
2023-11-16 11:05:18
18
转载 推荐系统知多少？
后台留言『交流』，加入 NewBee讨论组01-用户理解02-召回技术（一）03-召回技术（二）04-排序技术（一）05-排序技术（二）06-排序技术（三）07-其他技术方向08-评估...
2023-11-15 11:05:51
9
转载 手握六篇顶会一作？！神仙打架我偷师！
实名羡慕我认识的那个毕业到手百万的同学！别慌，人生不可复制，但可以模仿！不过，你是不是毕业论文还没思路？更不知道投顶刊顶会要规避的问题？不了解科研论文发表流程，不知从哪里下手？来吧！开卷！一个月学完全新7节《论文写作指导直播课》，带你从【学会发现idea】开始到写出让顶会审稿人眼前一亮的【COVER LETTER】。全新7节《论文写作指导直播课》限时免费，扫码加我占坑！限额福利——30+份配套论...
2023-11-14 11:05:47
25
原创 美团算法 | NLP 三面复盘
面试锦囊之面经分享系列，持续更新中后台回复『面试』加入讨论组交流噢一面时间50mins自我介绍。聊天。（面试体验好的面试官都是会聊天几句的）深挖实习内容。（细到模型参数如何设置，训练多久）。(同时夹杂了很多小知识点，关于深度学习和机器学习）概率题。一个单位圆内随机取一点，求到圆心距离的期望。面试官先要求用代码模拟一下结果，然后再用数学推导结果。（代码模拟直接随机取坐标(x, y) (x,y i...
2023-11-13 11:05:36
31
转载 首发！文心一言大模型应用新范式
“AI原生应用要能解决过去解决不了、解决不好的问题，应用才是大模型存在的意义。”越来越多人用AI打造自己的生产力工具、专业领域行业助手、游戏娱乐影音大师……你是否跃跃欲试却无从下手？机会来了！《文心一言插件开发课》震撼来袭，一站式解决你的技术难题，课程火热报名中！激发创新活力，大模型产品落地机遇挑战并存文心一言用户规模现已达到7000万，大模型的成长速度不断让人惊叹，AI Native的概念也带着...
2023-11-13 11:05:36
265
转载 ChatGPT最近被微软内部禁用！GPTs新bug：数据只要两句提示词就能套走
后台留言『交流』，加入 NewBee讨论组注意！你创建GPTs时上传的数据，任何人都能轻易下载……只需两句提示词，就可被直接套走！而又在另一边，OpenAI最亲密盟友微软内部一度紧急禁用，网站上显示的理由正是：出于安全和数据方面的考虑，许多AI工具不再供员工使用。自定制版GPT上线以来，各路大神分享自己GPTs整活链接。结果有网友一个不小心竟扒出了其中某个GPTs背后知识库文件，里面各种科技大厂职...
2023-11-12 11:05:53
32
转载 24届秋招开奖了！
后台留言『交流』，加入 NewBee讨论组大家好！这里是 NewBeeNLP。如今秋招接近尾声，各大公司基本也陆续开奖了。整理了部分公司的薪资情况，数据来源于 OfferShow 和牛客网。ps：爆料薪资的几乎都是 211 和 985 的，并不是刻意只选取学校好的。另外，无法保证数据的严格准确性。欢迎校招开奖同学在评论区讨论【才发现 留言可以选择匿名身份噢】~淘天城市：杭州岗位：算法薪资： 32*...
2023-11-10 11:05:28
33
转载 大模型最全八股和答案（上）
之前写过大模型面试八股/大模型面试八股含答案，后续有网友整理了更清晰的版本，推荐仓库：https://github.com/jackaduma/awesome_LLMs_interview_notes，点击阅读原文链接可直接访问。目录[x] 大模型（LLMs）基础面[x] 1. 目前 主流的开源模型体系 有哪些？[x] 2. prefix LM 和 causal LM 区别是什么？[x] 3. 涌...
2023-11-09 11:05:39
45
转载 我做了一个类ChatGPT模型!
最近，如ChatGPT的语言大模型风靡全球，类似于huggingface等代码/模型托管网站上的开源模型已经很多，可做到开箱即用。然而，作为一个初学者，或一个算法工程师也罢，如果能从0开始自己做一个类chatgpt模型，必然能更深入的理解transformer架构，multi-head机制，而不是只当一个”调包侠“。11.9日-11.10日，我们邀请到休斯顿大学博士，美国某顶尖公司总部资深研究科学...
2023-11-09 11:05:39
18
转载 MoE训练论文解读之Megablocks：打破动态路由限制
作者|方佳瑞（已授权）整理|NewBeeNLPhttps://zhuanlan.zhihu.com/p/653270049GPT-4用了Mixture-of-Experts（MoE）架构，引起了广泛关注。然而，MoE训练并不是一项简单的任务，它面临着一些主要的挑战和难点：1、动态路由限制：当前的框架对MoE层中的动态路由进行了限制，以满足现有软件和硬件的约束条件。用户必须在计算中选择d...
2023-11-08 11:05:58
34
转载 最强开源大模型易主！李开复率队问鼎全球多项榜单
百模大战，最备受期待的一位选手，终于正式亮相！它便是来自李开复博士创办的AI 2.0公司零一万物的首款开源大模型——Yi系列大模型：Yi-34B和Yi-6B。虽然Yi系列大模型出道时间相对较晚，但从效果上来看，绝对称得上是后发制人。一出手即问鼎多项全球第一：Hugging Face英文测试榜单位居第一，以34B的大小碾压Llama-2 70B和Falcon-180B等一众大尺寸大模型；唯一成功登顶...
2023-11-07 11:05:27
339
转载 WSDM'24 | 港大/百度, LLMRec: 基于LLM增强的多模态图神经网络推荐
大家好，这里是 NewBeeNLP。今天分享一篇来自港大和百度的paper，发表在WSDM2024上，研究基于LLM增强的多模态图神经网络推荐系统。Author:Wei WeiPaper: https://llmrec.files.wordpress.com/2023/10/wsdm_2024llmrec.pdfCode: https://github.com/HKUDS/LLMRecMoti...
2023-11-06 14:07:06
119
转载 LawBench：法律领域的六边形战士竟是！
近年来，大型语言模型展现出了令人惊叹的语言理解和处理能力，引起了学术界和工业界的广泛兴趣。研究者开始深入探讨这些模型是否具备解决专业领域任务的潜力，例如在医疗和司法领域提供专业的问题解答。近期，中文法律领域涌现出越来越多的司法大模型，它们具备一定的理解法律文本和解决法律问题的能力。然而，当前仍缺乏一个全面的评估标准，以定量评估这些模型的实际性能表现。为了弥补这一领域的空白，南京大学和上海人工智能实...
2023-11-06 14:07:06
37
转载 万万没想到，ChatGPT参数只有200亿？
后台留言『交流』，加入 NewBee算法讨论组这合理吗？谁都没有想到，ChatGPT 的核心秘密是由这种方式，被微软透露出来的。昨天晚上，很多讨论 AI 的微信群都被一篇 EMNLP 论文和其中的截图突然炸醒。微软一篇题为《CodeFusion: A Pre-trained Diffusion Model for Code Generation》的论文，在做对比的时候透露出了重要信息：ChatGP...
2023-11-02 11:05:39
30
转载 “吾日三省吾身!”，LLMs: what？
深度学习自然语言处理 原创作者：wkk近日Google Deep Mind联合University of Illinois at Urbana-Champaign针对LLMs无法自我纠正推理的现象进行了一系列研究，并提出了未来研究和实际应用的建议。论文：Can LLMs Self-Correct Their Reasoning?地址：https://browse.arxiv.org/abs/231...
2023-10-31 11:05:34
27
转载 分享俩个大模型挂经，xAI & 英伟达
作者：Rooters@知乎链接：https://zhuanlan.zhihu.com/p/658685266这次分享两个惨痛的挂经，挂得十分彻底那种。一、xAI先说xAI，这家是老马新成立的AI公司，目前还比较小，不过官网上人员背景真的是强。打的口号也很响亮是要explore the universe。拿到面试很开心，结果直接一轮游了。。。前面扯皮说简历直接略过，直接说挂掉的部分吧。楼主背景模型...
2023-10-31 11:05:34
29
转载 RecSys'23 谷歌 | 召回负反馈建模
作者|Conor整理|NewBeeNLPhttps://zhuanlan.zhihu.com/p/659719511业界在负反馈领域已有不少探索，但鲜少有在流式召回模型中建模负反馈的研究。今天分享一篇来自谷歌RecSys'23的工作，探索如何在召回中引入负反馈建模论文题目：Learning from Negative User Feedback and Measuring Respons...
2023-10-30 11:05:43
25
转载 独家专访@爱可可-爱生活：如何做好科学研究（干货满满）
后台留言『交流』，加入 NewBee讨论组「采访目的」 如何做好科学研究「采访时间」 2021年4月9日「采访地点」 北京邮电大学PRIS模式识别实验室「采访对象」 陈光老师 (@爱可可-爱生活[1])「小七：」 我们知道学术界存在着很强的马太效应，绝大部分论文的引用量都很小，我们平时阅读的论文大多都是有一定影响力的论文，而一个平凡的科研人员辛辛苦苦写出来的论文可能并没有多少人关注，而且大部分论文...
2023-10-27 11:05:34
36
转载 『以毒攻毒』，让大模型“吃一堑，长一智”
后台留言『交流』，加入 NewBee算法讨论组现在，大模型也学会“吃一堑，长一智”了。来自香港科技大学和华为诺亚方舟实验室的最新研究发现：相比于一味规避“有毒”数据，以毒攻毒，干脆给大模型喂点错误文本，再让模型剖析、反思出错的原因，反而能够让模型真正理解“错在哪儿了”，进而避免胡说八道。具体而言，研究人员提出了“从错误中学习”的对齐框架，并通过实验证明：让大模型“吃一堑，长一智”，在纠正未对齐的模...
2023-10-27 11:05:34
31
转载 Tree of Thoughts（ToT）：让大模型能动地解决问题
作者|酯基整理|NewBeeNLP后台留言『交流』，加入 NewBee算法讨论组大型语言模型已经在多种任务中大显身手，甚至在数学、逻辑推理等任务上都表现出色。但是由于自回归模型从左到右的输出模式，使得模型只能进行token级别的单向决策。而人类在进行复杂问题的决策时，往往会采用树状的思维方式进行规划。基于这两点，作者设计了一种简单的 思维树(Tree of Thought, ToT) ...
2023-10-25 11:05:30
59
转载 成功保研复旦大学！
NewBeeNLP干货作者：Kiren Wang@知乎个人背 景背景：纯种三无——四非无rk1无强竞赛无中稿论文学校：广东地区四非（非深大）绩点：第五学期9/815，第六学期6/824（学院排名）竞赛：蓝桥杯B组国二，和若干特水竞赛科研：一区trans在投一篇，一段多模态一段cv奖学金：无果酱英语：六级495最终去向：复旦直博写在前面个人感觉双非来讲重要度排名如下：acm金>绩点排名&g...
2023-10-24 11:40:33
60
转载 项目实践：从0开始搭建基于知识图谱的问答系统（医疗领域）
近几年，知识图谱迅速发展，已经在语义搜索、问答系统、智能客服、个性化推荐等通用领域得到较为广泛的应用，同时在金融证券、医疗、电商、司法和教育等垂直领域也逐渐落地。（知识图谱产业图，来源：艾瑞）学术界对于知识图谱的研究比较高大上，但是在实际落地中，更重要的是偏工程的基础设施。比如本体的构建时，企业借用ppt/excel就能够完成，不一定需要用到Protégé。阿里、腾讯、百度等大厂、以及脉脉、企查查...
2023-10-24 11:40:33
103
转载 知名巨头宣布：做四休三！
文末赠书，欢迎关注大家好，这里是 NewBeeNLP。10月20日，耐克大中华区近日发布内部信，宣布推出新的混合工作模式。在新模式下，每周在公司工作四天，时间为每周一至周四。新的工作模式将于2024年1月8日正式执行，范围仅限于办公室员工。耐克公司并不是个例。5月31日， 网红考研名师张雪峰所在的公司宣布：其公司将从8月1日起实行四天工作制。即“上二休一，上二休二”的休息制度，在保证周六周日法定休...
2023-10-22 11:30:25
30
转载 直接放大推荐模型可行吗？存在什么问题？
标题：ON THE EMBEDDING COLLAPSE WHEN SCALING UP RECOMMENDATION MODELS地址：https://arxiv.org/pdf/2310.04400.pdf学校，公司：清华，腾讯1.导读现在出现了很多大模型，大模型已经成为现在的主流研究方向，那么推荐模型是否也可以做成大模型呢？本文作者从embedding角度，去探索了放大推荐模型的可行性和效果...
2023-10-22 11:30:25
27
转载 聊一聊我眼中的阿里P8、P9及以上人的水平
源 l 乐谷说、对白的算法屋后台留言『交流』，加入 NewBee算法讨论组见过身边的阿里P8，记录一下我的观察，这里仅说技术线的P8，有同学有想问的直接评论区留言：1、薪资水平上，现在字节挖阿里P8的报价已经能谈到100万税前现金年薪 + 50-100万期权，阿里P8去字节低于这个数是侮辱（已跳槽的可以自查一下是不是被低估了），字节入职即巅峰，竞业协议保证你进得去出不来。2、业务能力上，技术线P...
2023-10-21 11:05:41
42
原创 LLM推理技术之StreamingLLM：如何拥有无限长生成能力
作者|方佳瑞整理|NewBeeNLPhttps://zhuanlan.zhihu.com/p/659875511后台留言『交流』，加入 NewBee算法讨论组当前，大型语言模型（LLM）在推理时只能记住有限的上下文。例如，LLama2只能处理4K的上下文，这不仅导致其无法记住超过最近4K上文的内容，而且在生成文本达到4K时就会停止。理想的AI对话助手可以不受输出长度的限制，并且需要记住历...
2023-10-20 11:05:16
133
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人