- 博客(1092)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 ACL 2024 | 让纯LLM实现类人的符号逻辑推理能力，开源框架SymbCoT来了
论文题目：Faithful Logical Reasoning via Symbolic Chain-of-Thought论文作者：徐俊东1，费豪1，潘亮铭2，刘茜3，Mong-Li Lee1，Wynne Hsu1新加坡国立大学1，加州大学圣芭芭拉分校2，奥克兰大学3收录会议：ACL 2024论文链接：https://arxiv.org/pdf/2405.18357.pdf代码链接：https:/...
2024-06-19 11:05:42
82
转载 电商知识图谱建设及大模型应用探索
后台留言『交流』，加入NewBee讨论组导读本文将分享 Shopee 在电商知识图谱构建，以及与大模型结合方面的探索。主要内容包括以下五大部分：1.电商知识图谱概览2.电商知识图谱构建3.电商知识图谱应用4.知识图谱与大模型探索5.问答环节分享嘉宾｜郑鑫博士 Shopee Senior Expert Engineer出品社区｜DataFun01电商知识图谱概览对于任何电商平台而言，商...
2024-06-18 11:05:46
66
原创 聊一聊搜推广粗排思考
作者|阿狗整理|NewBeeNLPhttps://zhuanlan.zhihu.com/p/699188815粗排模块的目标五花八门的说法越来越多，但是粗排的意义本质还是由于在工业界中业务链路性能、算力的约束下，漏斗链路设计中的一环，其使命就是在既定资源、性能约束下从全量候选集合中选出一个“优质候选集合”典型的漏斗链路包含：召回、粗排、精排， 有的也可以粗排和召回合并为一级漏斗，也有的在...
2024-06-14 11:05:39
669
转载 用最酷的LR，训最猛的模型
源|李rumor预训练中，除了模型尺寸、数据、计算量之外，比较重要的就是batch size和learning rate这两个超参数了。从DeepSeek的scaling law工作[1]中可以看到，不同的学习率可以让loss有一定的波动，影响模型收敛。虽然近两年主流LLM都采用cosine decay的学习率策略，但它有个关键问题，就是对续训很不友好。早在Chinchilla的工作中就提到，...
2024-06-12 11:05:41
110
转载 关于Scaling Law、半合成数据、MOE及长文本
作者|张俊林整理|NewBeeNLPhttps://zhuanlan.zhihu.com/p/700622253后台留言『交流』，加入NewBee讨论组以下内容是5月15日甲子光年圆桌论坛讨论内容，涉及Scaling Law、合成数据与“半合成数据”、与Transformer不同的新模型结构、MOE及Long Context等问题。一、是否相信Scaling Law？ 王艺 ：围绕Sc...
2024-06-07 11:05:31
137
原创 搜推广生死判官：重排技术发展
全文1.2W字，PC阅读戳：https://f0jb1v8xcai.feishu.cn/wiki/LPlAwm6vSiesFBkysh8csZYfn1g1. 重排Overview搜索推荐广告的基础架构和知识我们在电商搜索全链路（PART I）Overview 以及阿里淘宝：重新审视搜索粗排 中已经有相关介绍，这里直接进入主题。重排一般是离用户最近的一个环节（有些场景还有混排），因此往往重/混排...
2024-06-05 11:05:40
1166
转载 智谱AI获中东财团 4 亿美元投资；老板跑路，900多员工一脸懵：上午改bug、下午解散；谷歌云部门大规模裁员 | AI周报...
整理 | 褚杏娟 傅宇琪 字节跳动：外媒报道“TikTok 曾提议将控制权交给美国政府”消息不实；谷歌在云部门大规模裁员；马斯克和杨立昆的激情互喷，引来 3000 万网友围观；奥特曼或将 OpenAI 重组为盈利性公司；iOS 18 首个正式版无缘：曝苹果 AI Siri 跳票至 2025 年；内卷加剧！拼多多上线自动跟价功能…… 热门资讯 字节跳动：外媒报道“TikTok 曾...
2024-06-03 11:05:19
369
转载 大模型预训练中的数据处理及思考
作者：赵亮，NLPer；昆仑万维·预训练。原文：https://zhuanlan.zhihu.com/p/641013454整理:青稞AI大模型预训练需要从海量的文本数据中学习到充分的知识存储在其模型参数中。预训练所用的数据可以分为两类。一类是网页数据（web data），这类数据的获取最为方便，各个数据相关的公司比如百度、谷歌等每天都会爬取大量的网页存储起来。其特点是量级非常大，比如非...
2024-05-31 11:05:59
1597
转载 蚂蚁：多模态方向的技术探索
后台留言『交流』，加入NewBee讨论组导读本文将分享蚂蚁多模态认知团队过去一年在视频多模态检索领域的研究成果。文章主要围绕如何提升视频文本语义检索效果，及如何高效地进行视频同源检索这两项研究工作展开。主要包括以下几大部分：1.概述2.视频-文本语义检索3.视频-视频同源搜索4.总结5.Q&A分享嘉宾｜郭清沛蚂蚁集团高级算法专家出品社区｜DataFun01概述视频多模态检...
2024-05-29 11:05:52
79
转载 生成式推荐系统近期研究工作梳理
©作者｜张君杰机构｜中国人民大学研究方向｜推荐系统、自然语言处理引言现代推荐系统通过在候选空间中检索合适的物品来进行个性化推荐。近年来，随着生成式模型（如GPT系列）的不断发展，研究人员开始尝试将生成式技术引入推荐系统，革新推荐范式。在这一新范式下，推荐被重新建模为序列生成任务，模型通过建模用户的交互信息来生成候选物品的表征。然而，生成式技术在推荐系统中的应用也面临一些挑战。例如：物品的表征：相...
2024-05-28 11:05:39
453
转载 大模型微调到底有没有技术含量，或者说技术含量到底有多大？
Openai GPT-4o，Google Gemini，Meta Llama3......无论闭源还是开源，大模型技术的发展今年是你方唱罢我登场，而且迭代速度飞快，在短短一年间就有了大幅度的技术迭代更新，LoRA、模型压缩、QLoRA、DeepSpeed、Megatron-LM、Flash Attention、RLHF、DPO等等，几乎每天都有新的发展。我们总结了算法工程师需要掌握的大模型微调技能...
2024-05-28 11:05:39
93
转载 从头预训练一只超迷你 LLaMA 3
作者：Xode原文：https://zhuanlan.zhihu.com/p/695130168整理：青稞AI这次打算用 Hugging Face 的 API 来写一份预训练大（小）模型的代码，也就是用 Trainer 来做预训练。由于只是想练习一下，因此打算选一个极小模型 + 小数据集。为了贴近主流，于是打算预训练一个 LLaMA 3——不过是超迷你版本，大小仅不到 20M。想起来曾经看到过的微...
2024-05-27 11:05:33
114
转载 赠书 | 解构大语言模型
--文末赠书--在大语言模型问世之前，尤其是在ChatGPT出现之前，人们几乎没有认真讨论过“人工智能是否具备自我意识”这个话题。尽管人工智能在某些方面（例如图像识别和语言翻译等领域）的表现陆续超越了人类，但大多数人仍然将其看作由人类创造的工具，而非真正的智能体。然而，大语言模型的出现彻底颠覆了这一观点，因为从形式上看，大语言模型表现出了许多人格化的特征。对于这一现象，不同的观点纷至沓来。一些人认...
2024-05-26 11:30:14
69
转载 LLM“最难刷分模型测评”出炉，国产黑马与GPT-4o同列金字塔尖
后台留言『交流』，加入NewBee讨论组上周，一个名为“im-also-a-good-gpt2-chatbot”的神秘模型突然现身大模型竞技场Chatbot Arena，排名直接超过GPT-4-Turbo、Gemini 1 .5 Pro、Claude 3 0pus、Llama-3-70b等各家国际大厂的当家基座模型。随后OpenAI揭开“im-also-a-good-gpt2-chatbot”神秘...
2024-05-26 11:30:14
714
转载 NoteLLM: 大语言模型在小红书推荐系统的落地应用
作者|Lukan整理|NewBeeNLPhttps://zhuanlan.zhihu.com/p/698416915今天分享一篇小红书今年3月的论文，介绍了大语言模型在小红书笔记推荐场景下的落地应用，主要是围绕如何利用LLM的表征能力来生成更适用于i2i召回的文本embedding，思路简单，落地也容易，个人觉得实践价值非常高，值得学习。NoteLLM: A Retrievable ...
2024-05-24 11:05:36
745
转载 多模态预训练模型在 OPPO 端云场景的落地实践
大家好，这里是 NewBeeNLP。今天分享 OPPO 多模态预训练模型在端云场景的落地实践。具体内容分成三个主题：1.端侧图文检索技术研究2.文图生成&理解态模型的应用优化3.文图生成模型的端侧轻量化分享嘉宾｜陈宸博士 OPPO 高级算法工程师出品社区｜DataFun01端侧图文检索技术研究1. 解决了什么问题？首先来介绍图文检索技术。以前在手机端相册搜索照片，都是基于标签来搜索...
2024-05-22 11:05:59
61
转载 又一篇AI顶会！这个idea简直“ 杀疯了 ”
有些同学，即使告诉他方法，也发不了顶会顶刊！因为能发顶会或者高区位会议的文章，idea必须有创新性。而一个科研新人几乎不具备独立提炼idea的能力。很多发了十几篇A会的科研大牛都在使用“简化、结合、迁移、解释分析”这4个高效的idea提炼方法。但是科研新人，即使知道了方法，也依旧无法挖掘到好的idea。我师弟张含，研二期间要发CV方向的CCF A类文章。奈何导师不给力，自己折腾大半年一直找不到好的...
2024-05-21 11:05:15
75
转载 筑基砥柱：EcomXL-万相实验室AIGC电商基础模型
✍???? 本文作者：顾知、岁星、天扉、佳玏、允行一、背景随着生成式技术浪潮的兴起，Stable Diffusion结合Controlnet等控制能力在电商场景得到了广泛的应用，其中制作一张优秀的商品主图（亦或是广告的创意图，以下简称商品图）对商品的点击转化有着重要影响，商家往往需要投入不少时间和资金成本。如何通过AIGC能力来帮助商家节省成本、提高制作效率和投放效果是阿里妈妈万相实验室的初衷。随着20...
2024-05-21 11:05:15
76
原创 快手在召回场景GPT范式的尝试
作者|丁炜杰整理|NewBeeNLPhttps://zhuanlan.zhihu.com/p/695506377RecGPT: Generative Personalized Prompts for Sequential Recommendation via ChatGPT Training ParadigmHighlights快手2023年7月上线的工作，2024年4月投稿，序列推荐问...
2024-05-20 11:05:15
855
转载 GPT-4o再次封神！全网独一份的AI大模型教程
5月14日，一场不到30分钟的发布会，再次引爆AI行业巨变。OpenAI正式发布GPT-4o，在新的大模型的支撑下，ChatGPT 的交互体验，让全球人震惊。它具备文本、图片、视频和语音能力，能够实现更自然的人机交互。✅ 做题高手：演示如何给线性方程 3X+1=4 的求解提供帮助，它能够一步步贴心地引导并给出正确答案。✅现场编码：程序员关心的编码难题是真正的考验，不过，GPT-4o三下五除二的功...
2024-05-18 11:05:12
73
转载 大模型测试集作弊？ICLR论文将leak一网打尽！
如果你拿一些题库的输入去推大模型的base模型话，会发现他们经常一股脑就把训练过的题库吐露出来了，比如早前大家在百川上讨论过的：目前数据提供商最值钱的数据就是题库了，国内大模型很懂得投机取巧，反正你是知识类客观题评测，我把全网的题库数据都塞进去。实在买不到买不全的数据，我还可以用测试集的每一道题目去反向爬取互联网相关内容，爬不到原题也能找到差不多的数据，再把他们都塞进去，针对性刷题。这就是离线测试...
2024-05-18 11:05:12
102
转载 GPT-4o: 给主人留下些什么吧？
作者|蒋炎岩整理|NewBeeNLPhttps://zhuanlan.zhihu.com/p/697685138?utm_id=0大家好，这里是 NewBeeNLP。最近几日GPT-4o刷屏，升级了 token 的集合，从 100k 增加到 200k，一起来看看它的中文 token。GPT-4o 认为 “给主人留下些什么吧” 是个很重要的……中文短句？tldr: GPT-4o “泄漏” 了...
2024-05-17 11:05:18
294
转载 乘风破浪，川流入海 —— LLM在阿里妈妈智能文案的应用
1.引言在现代广告系统中，文案是不可或缺的一部分，几乎参与了广告素材的各个地方。随着NLP技术的极速发展，广告主逐渐学会并习惯使用文案生成工具直接或者间接的参与到广告的制作中，这为NLP技术在广告场景的应用提供了巨大的潜力和机会。阿里妈妈智能创作与AI应用团队在广告文案方面做了长期的工作，并积累的一定的技术能力。图1：智能文案应用场景举例2022年底，ChatGPT的横空出世，为NLP技术的发展的...
2024-05-16 11:05:51
43
转载 RAG还是微调？大模型微调技术全面盘点
随着大模型的飞速发展，在短短一年间就有了大幅度的技术迭代更新，从LoRA、QLoRA、AdaLoRa、ZeroQuant、Flash Attention、KTO、PPO、DPO、蒸馏技术到模型增量学习、数据处理、开源模型的理解等，几乎每天都有新的发展。我们总结了算法工程师需要掌握的大模型微调技能，并制作了大模型微调技能图谱，希望可以帮助大家将知识体系梳理清楚，为未来在大模型的工作与科研道路上节省时...
2024-05-16 11:05:51
170
转载 「大模型」之所短，「知识图谱」之所长
后台留言『交流』，加入NewBee讨论组导读最近一年以来，大语言模型技术突飞猛进，被广泛地认为开启了人工智能研究的新阶段。大语言模型时代的到来，给知识图谱技术也带来了新的机遇与挑战。我们在 5 月份的时候曾经发布过知识图谱与 AIGC 大模型的知识地图，其中包括了文本生成、图像生成等技术。本次分享将聚焦于大语言模型最新的研究进展，从大模型对知识工程的帮助、知识图谱帮助大模型的评测和应用，以及未来...
2024-05-15 11:05:58
67
转载 GPT-4o：深夜炸场，她 来了！
作者|王启隆整理丨AI科技大本营GPT-4o 中的“o”代表“omni”——指的是 GPT-4o 的多模态。在我们的深夜、太平洋时间的上午 10 点，OpenAI 召开春季发布会，推出了一款名为GPT-4o的“旗舰级”生成式人工智能模型，并将在未来几周内在公司面向开发者和消费者的产品中迭代推出。该模型将向免费客户开放，这意味着任何人都可以通过 ChatGPT 访问 OpenAI 最先进的技...
2024-05-14 10:30:12
51
转载 DPO作者新作｜From r to Q*
作者：陈陈原文链接：https://zhuanlan.zhihu.com/p/693746297后台留言『交流』，加入NewBee讨论组卷友们好，今天推荐一篇DPO作者的新作：本文几乎是DPO的原班人马搞的，新来的Joey Hejna是X-QL（本文部分核心理论）一作。这篇文章并没有提出一个新的算法，或者是在一个新的任务上刷了SOTA，主要是对DPO算法给出了一个理论解释，统一了处理LLM强化学习...
2024-05-13 11:05:15
89
转载 综述来啦！港大发布SSL4Rec：170篇「自监督学习」推荐算法
后台留言『交流』，加入NewBee讨论组【导读】本文全面综述了自监督学习（SSL）在推荐系统中的应用，深入分析了逾170篇论文。文中提出了一个涵盖九大推荐场景的自监督分类体系，详细探讨了对比学习、生成学习和对抗学习三种SSL范式，并在文中讨论了未来研究方向。推荐系统对于应对信息过载挑战至关重要，它们根据用户的个人偏好提供定制化推荐。近年来深度学习技术极大地推动了推荐系统的发展，提升了对用户行为和偏...
2024-05-11 11:05:13
117
转载 SIGIR2024 | UniSAR: 搜索与推荐统一用户转换行为建模
TLDR: 本文提出了一个统一的搜推间用户转换行为建模框架，有效地对不同类型的细粒度行为转换进行建模，为用户提供统一的搜索和推荐服务。论文：arxiv.org/abs/2404.09520目前，许多平台为用户提供搜索和推荐服务来作为用户获取信息的重要工具。这一现象导致了用户搜索和推荐行为之间存在某种相关性，为以细粒度的方式建模用户兴趣提供了机会。现有方法要么将用户搜索和推荐行为分开建模，要么忽略了...
2024-05-09 11:05:18
106
转载 万字长文总结大模型微调技能图谱
随着大模型的飞速发展，在短短一年间就有了大幅度的技术迭代更新，从LoRA、QLoRA、AdaLoRa、ZeroQuant、Flash Attention、KTO、PPO、DPO、蒸馏技术到模型增量学习、数据处理、开源模型的理解等，几乎每天都有新的发展。我们总结了算法工程师需要掌握的大模型微调技能，并制作了大模型微调技能图谱，希望可以帮助大家将知识体系梳理清楚，为未来在大模型的工作与科研道路上节省时...
2024-05-09 11:05:18
93
转载 聊一聊扩散模型与文生视频
后台留言『交流』，加入NewBee讨论组导读随着人工智能技术的快速进步，特别是在视频和图像生成领域，新技术的出现正在不断地推动行业的发展边界。本次讨论聚焦于 Sora 技术以及其在视频生成中的应用，探讨了文生视频中我们会面临的难点，以及腾讯在这些方面的努力与解决思路。同时，文章给出了一些文生视频的典型案例，以及对该领域未来的畅想和讨论。今天的介绍会围绕下面五点展开：1.快速发展的文生视频2....
2024-05-07 11:05:52
46
原创 图推荐系统综述：A Survey of Graph Neural Networks for Recommender System
作者|twilly（已授权）整理|NewBeeNLPhttps://zhuanlan.zhihu.com/p/686458569第一次整理综述，作为深入这个方向的开始。应该不如AI整理的详细全面，不过这一篇文章主要是阅读时整理的一些对我来说有帮助的点，供自己未来存档回顾细节。这篇作者对论文具体的架构以及特殊设计都写得很清楚，所以在「现有研究方法概览」部分，我主要写了现有研究方法的思路概述...
2024-04-30 11:05:46
1097
转载 Llama 3技术剖析、微调、部署以及多模态训练
Meta公司推出了开源大语言模型Llama系列的最新产品—Llama 3，包含了80亿参数的Llama 3 8B和700亿参数的Llama 3 70B两个版本。Meta称其为“迄今为止最强的开源大模型”。Meta官方数据显示，Llama 3 8B模型在MMLU、GPQA、HumanEval等多项基准上均胜过同参数量级模型Gemma 7B和Mistral 7B Instruct，而70B模型则超越了...
2024-04-29 11:05:33
93
转载 百变背景：AIGC电商图片可控生成技术
✍???? 本文作者：云芑、因尘、岁星、也鹿1. 背景随着AI生成内容（AIGC）技术如Diffusion的飞速进展，现如今，大家已能够轻易地使用Stable Diffusion（SD）[1]等文生图的模型或工具，将心中所想仅凭语言描述（prompt）即转化为具体图像。基于此，我们不禁思考：是否有可能进一步发展该技术，允许用户通过描述来为商品定制特定背景，从而协助商家快速且轻松地打造理想的商品图像？例如...
2024-04-29 11:05:33
158
转载 ICLR 2024 || 图学习领域，注意力IS OFTEN NOT ALL YOU NEED!!!
后台留言『交流』，加入NewBee讨论组今天给大家介绍一篇论文，这篇论文探讨了图神经网络中自注意力机制与虚拟节点的异同。作者从理论和实验两个角度对比了图Transformer和带虚拟节点的消息传递图神经网络在一致性表达能力上的差异。这篇论文对理解不同全局信息交换范式具有重要意义。1. 基本信息论文题目：Distinguished in Uniform: Self-Attention vs. Vir...
2024-04-26 11:05:31
113
转载 大模型综述出书了
在2023年3月，我们发表了大语言模型综述文章《A Survey of Large Language Models》。这篇综述文章已经更新到第13个版本，包含了83页的正文内容，并收录了900余篇参考文献。该综述文章旨在系统地梳理大语言模型的研究进展与核心技术，讨论了大量的相关工作。自大语言模型综述的预印本上线以来，受到了不少读者的关注。自英文综述文章上线后，陆续有读者询问是否有对应的中文版本。为...
2024-04-26 11:05:31
73
转载 文末送书 | 大模型开发的及时雨！《LangChain实战》全新教程来袭
LangChain 作为一个开源的大语言模型应用框架，自诞生之日起就备受瞩目。然而，它的发展之路却走过了不少曲折。一开始，LangChain 遭受了不少质疑和非议。有人认为它只适合入门学习，代码质量和设计缺乏工业级的严谨性，难以应用于生产环境。的确，作为一个新兴项目，LangChain 的早期版本还存在不少瑕疵。但正如其名 “Chain”，LangChain 就是要将模型、数据和业务逻辑紧密串联。...
2024-04-25 11:05:09
44
1
转载 苹果卷开源大模型，OpenELM亮相
后台留言『交流』，加入NewBee讨论组苹果发布基于开源训练和推理框架的高效语言模型族 OpenELM。要说 ChatGPT 拉开了大模型竞赛的序幕，那么 Meta 开源 Llama 系列模型则掀起了开源领域的热潮。在这当中，苹果似乎掀起的水花不是很大。不过，苹果最新放出的论文，我们看到其在开源领域做出的贡献。近日，苹果发布了 OpenELM，共四种变体（参数量分别为 270M、450M、1.1B...
2024-04-25 11:05:09
63
转载 【重磅！免费公开课】Llama 3技术剖析、微调、部署以及多模态训练
Meta公司推出了开源大语言模型Llama系列的最新产品—Llama 3，包含了80亿参数的Llama 3 8B和700亿参数的Llama 3 70B两个版本。Meta称其为“迄今为止最强的开源大模型”。Meta官方数据显示，Llama 3 8B模型在MMLU、GPQA、HumanEval等多项基准上均胜过同参数量级模型Gemma 7B和Mistral 7B Instruct，而70B模型则超越了...
2024-04-24 11:05:52
114
转载 谈谈对 Llama3的个人看法
作者|张俊林https://www.zhihu.com/question/653373334/answer/3471466524LLAMA-3的发布是大模型开源届的大事，蹭下热度，在这里谈下有关LLAMA-3、大模型开源与闭源以及合成数据的一些个人看法一、LLAMA-3的基本情况模型结构与LLAMA-2相比没有大的变动，主要变化一点在于Token词典从LLAMA-2的32K拓展到了128K，...
2024-04-22 11:05:59
94
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人