- 博客(1016)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 美团优选 | 智能推荐算法工程师
美团优选 - 智能推荐算法工程师大家好，定期分享求职信息~今天分享一个美团算法岗，感兴趣的同学 简历请发送到[email protected]，有任何问题欢迎邮箱咨询。研究领域机器学习、强化学习、自然语言处理、Meta Learning、数学建模、因果推断、数据挖掘、推荐系统、知识图谱、运筹优化岗位职责综合运用机器学习、NLP、图学习、Meta Learning、知识蒸馏、多模态建模和因果推断等相关...
2024-03-07 11:05:27
18
转载 万字长文 | Sora技术解析报告
后台留言『交流』，加入NewBee讨论组论文标题：Sora: A Review on Background, Technology, Limitations, and Opportunities of Large Vision Models论文链接：https://arxiv.org/pdf/2402.17177.pdf背景在分析 Sora 之前，研究者首先盘点了视觉内容生成技术的沿袭。在深度学习...
2024-03-07 11:05:27
112
转载 ICLR2024｜生成式视角下的实体对齐
论文题目：Revisit and Outstrip Entity Alignment: A Perspective of Generative Models本文作者：郭凌冰（浙江大学）、陈卓（浙江大学）、陈矫彦（曼彻斯特大学）、方尹（浙江大学）、张文（浙江大学）、陈华钧（浙江大学）发表会议：ICLR 2024论文链接：https://arxiv.org/abs/2305.14651代码链接：htt...
2024-03-06 11:05:24
94
转载 FlashAttention加速升级！又快了200%！
斯坦福大学此前提出的FlashAttention算法，突破了Transformer增加序列长度时的注意力层瓶颈，实现了显著的内存节省和计算加速。而发布不久的FlashAttention v2，更是比v1快了200%，进一步优化了算法、并行性和工作分区，适用于更多AI大模型，为上下文长度扩展保驾护航！为了让大家快速掌握最新成果，研梦非凡特请来了该领域科研大牛，定制了直播课《AI前沿论文解析系列—...
2024-03-06 11:05:24
20
转载 当"狂飙"的大模型撞上推荐系统
后台留言『交流』，加入NewBee讨论组导读随着以 ChatGPT 为代表的大模型技术的迅速发展，推荐系统正经历着一场革命性的变革。传统的推荐系统主要基于用户和物品的历史行为数据进行预测，大模型技术的出现，为推荐系统带来了更强的泛化能力和更高的效率，解决了传统推荐系统中的一些难题，如用户和物品数量的巨大规模、不可观测因素对推荐的影响等。同时，大模型推荐技术也带来了新的挑战，如模型的可解释性和隐私...
2024-03-05 11:05:26
23
转载 Mamba精神！只能说ICLR输麻了其实更新频率还可以再快一点点的
Github链接：https://github.com/yyyujintang/Awesome-Mamba-Papers/blob/main/README.mdMamba是一种基于选择性状态空间的线性时间序列建模方法，可以有效地处理长序列数据。这个仓库包含了Mamba及其变体在不同领域的应用，如图像分割、文本摘要、点云分析等。这个仓库还提供了一些其他有用的资源，如Mamba的论文列表和状态空间模型...
2024-03-04 11:05:33
291
转载 2024 最新综述 | 当知识图谱遇上多模态学习
后台留言『交流』，加入NewBee讨论组论文题目：Knowledge Graphs Meet Multi-Modal Learning: A Comprehensive Survey论文链接：http://arxiv.org/abs/2402.05391项目地址：https://github.com/zjukg/KG-MM-Survey备注：54 pages, 617 citations, ...
2024-03-01 11:05:51
120
转载 检索增强的大型语言模型：EMNLP 2023 检索相关论文导览
©作者｜王禹淏机构｜中国人民大学研究方向｜自然语言处理、大语言模型引言随着自然语言处理领域的迅速发展，检索增强的大型语言模型（LLMs）成为了研究的前沿话题。EMNLP 2023收录的多篇论文集中探讨了如何通过各种创新方法，提升这些模型在稠密检索、问答系统和其他知识密集型任务中的性能。这些研究不仅涵盖了查询重写、稠密检索优化、检索增强的预训练方法，还包括了零样本泛化能力的提升、长文本生成的改进以...
2024-02-29 14:05:55
65
转载 自动驾驶算法工程师基本技术要求
今天将重点介绍关于BEV感知算法的经典研究成果——BEVFormer。研梦非凡请来了国内一线车企研究院资深算法工程师Frank导师，在3月7日晚20点与大家深入探讨自动驾驶中的视觉感知算法，系统地讲解这些算法的原理、应用和未来发展，并介绍单目相机感知算法和BEV（Bird's Eye View，鸟瞰视角）感知算法的发展历程和核心思想。扫描二维码预约直播课再领课程ppt和30多个自动驾驶开源代码数据...
2024-02-29 14:05:55
27
原创 LLM 的幻觉到底是什么，有什么办法解决？
作者|Conqueror712整理|NewBeeNLPhttps://zhuanlan.zhihu.com/p/682697588大家好，这里是NewBeeNLP。今天分享关于大模型的幻觉现象。省流版：幻觉是指模型生成的信息可能或不准确，目前的办法只能缓解不能根除。一、幻觉简介LLM 时常会出现一些神奇的现象—— 幻觉 Hallucination ，在 AI 领域，幻觉是指模...
2024-02-28 11:05:37
750
转载 他山之石：京东电商知识图谱与AIGC落地实践
后台留言『交流』，加入NewBee讨论组导读本文将分享如何将知识图谱应用到电商场景下的 AIGC。文章将围绕下面五个方面进行分享：1.导言2.基于领域知识图谱的商品文案生成3.基于通用知识图谱的商品文案生成4.基于领域知识图谱的 LLM5.基于通用知识图谱的 LLM分享嘉宾｜李浩然博士京东科技言犀大模型算法负责人出品社区｜DataFun01导言首先介绍一下京东在电商场景下 AIGC...
2024-02-27 11:05:48
27
原创 秋招面了十多家，算法岗复盘
作者|去网吧偷显卡整理|NewBeeNLP面试锦囊之面经分享系列，持续更新中欢迎后台回复『面试』加入讨论组交流噢飞猪-搜索算法飞猪-base杭州-搜索算法哈希寻址算法讲一下最短路算法如何判断图中是否有环概率题：99%的概率预测正确，0.3%是真阳，p(真阳|阳)的概率等于多少场景题1：给定当前query和历史query以及对应实体，如何对当前query的实体进行建模场景题2：多语言如何判...
2024-02-25 11:05:30
2150
转载 卷起来了！阿里大模型员工也自曝996作息表
思维链作者、从谷歌跳槽OpenAI的Jason Wei前脚刚自曝996作息表，国内的“卷王”们就按耐不住了。阿里通义千问团队NLP研究员Binyuan Hui晒出了自己的一天：[9:00am]醒来，可能会在床上多躺15分钟。[9:30am] 打车上班，浏览X了解世界上正在发生的事情，查看@_jasonwei的最新帖子。[10:00am] 工作开始，检查邮件，浏览arxiv，打开wandb查看昨天...
2024-02-23 11:05:48
16
原创 要读博，6个月发cvpr 2024经验分享
建议发论文的同学不要卡着deadline来，一定要给自己的科研论文留出足够的创作时间。科研论文写作时间安排国际顶级会议科研论文如果你要发国际会议建议预留4-6个月写论文的时间：以CVPR2024为例，摘要截止时间是2023年11月18日，那就要在2023年10月18号之前做出来可以投的论文初稿了（中间这一个月是调整论文的表达，文字，描述，图表，根据会议的要求调整论文格式等）。那么8月16号就要开始...
2024-02-23 11:05:48
1006
转载 大模型微调经验和认知
原文:https://zhuanlan.zhihu.com/p/676723672以下内容均为个人经验（臆测），不具有指导意义--快乐子涵酱。关于continue1.pre-train大模型的知识来自于pt阶段，如果你想引入一些新的知识，那CPT是一个不错的选择。2.但你首先要确保你有足够大量的数据集，至少有几B的token；3.否则几十条数据的情况我更推荐模型编辑更建议全量微调。4.不确定lo...
2024-02-22 11:05:23
99
转载 CS领域杨笛一、杜少雷、金驰等7位华人学者获奖，2024斯隆奖出炉
在 2024 年度斯隆奖名单中，计算机科学领域共有 22 位获奖者，其中 7 位华人。今天凌晨，斯隆基金会公布了 2024 年度斯隆研究奖获得者名单。自 1955 年起，斯隆研究奖由美国艾尔弗・斯隆基金会（The Alfred P. Sloan Foundation）每年颁发一次，以表彰那些具有创造性、创新性和研究成就的美国和加拿大的杰出年轻研究人员。斯隆研究奖的获奖者将获得为期两年、价值 7.5...
2024-02-22 11:05:23
22
原创 发NLP方向顶会这24个研究方向可以卷
本次粉丝福利的meeting是我们【1V1论文指导定制服务正式课程】的一部分，meeting本来的作用是用来在1V1论文指导正式课程付费之后做的。*研梦拥有一支实力强大的高学历导师团队，在计算机科学、机器学习、深度学习等领域，积累了丰富的科研经历，研究成果也发表在国际各大顶级会议和期刊上，在指导学员的过程中，全程秉持初心，坚持手把手个性化带教。是每一行代码，每一个数据，每一个参数的修改，写作的表达，导师的背书和经验这些加起来才能决定你的胜利！我们粉丝大多是nlp和推荐系统方向的大学生，研究生，博士生。
2024-02-20 22:31:43
832
原创 发NLP方向顶会这24个研究方向可以卷
本次粉丝福利的meeting是我们【1V1论文指导定制服务正式课程】的一部分，meeting本来的作用是用来在1V1论文指导正式课程付费之后做的。*研梦拥有一支实力强大的高学历导师团队，在计算机科学、机器学习、深度学习等领域，积累了丰富的科研经历，研究成果也发表在国际各大顶级会议和期刊上，在指导学员的过程中，全程秉持初心，坚持手把手个性化带教。是每一行代码，每一个数据，每一个参数的修改，写作的表达，导师的背书和经验这些加起来才能决定你的胜利！我们粉丝大多是nlp和推荐系统方向的大学生，研究生，博士生。
2024-02-20 22:28:58
880
转载 进我的收藏夹吃灰吧：大模型加速超全指南来了
后台留言『交流』，加入 NewBee讨论组2023 年，大型语言模型（LLM）以其强大的生成、理解、推理等能力而持续受到高度关注。然而，训练和部署 LLM 非常昂贵，需要大量的计算资源和内存，因此研究人员开发了许多用于加速 LLM 预训练、微调和推理的方法。最近，一位名为 Theia Vogel 的博主整理撰写了一篇长文博客，对加速 LLM 推理的方法进行了全面的总结，对各种方法展开了详细的介绍，...
2024-02-20 11:05:44
21
原创 记录活在 OpenAI 阴影里的 AI 创业经历
作者|像素炼金师整理|NewBeeNLPhttps://zhuanlan.zhihu.com/p/682525947后台留言『交流』，加入 NewBee讨论组作为一个生性散漫，不怎么和外界交互的野生 AI 算法工程师，这两天看到 OpenAI 的 Sora 之后，也不免想要写两句。因为我有些害怕科技巨头的产品像隆隆火车一样驶过，而我做的东西如同路边的野草一样，在这个技术进步就像跑马灯一样...
2024-02-19 11:05:28
950
转载 周鸿祎：Sora意味着AGI 实现将从10年缩短到1年
后台留言『交流』，加入 NewBee讨论组大家好，这里是 NewBeeNLP。Sora 一定刷爆了大家的社交媒体，分享360董事长周鸿祎对 Sora 的观点，以下是原文。年前我在风马牛演讲上分享了大模型十大趋势预测，没想到年还没过完，就验证了好几个，从Gemini、英伟达的Chat With RTX到OpenAl发布Sora，大家都觉得很炸裂。朋友问我怎么看 Sora，我谈几个观点，总体来说就是我...
2024-02-17 16:05:27
27
转载 聊一聊大模型幻觉：起因、评估及缓解策略探索
后台留言『交流』，加入 NewBee讨论组导读针对大模型落地应用的问题，当前行业内普遍的做法是利用大模型进行问答，但在实际应用中，这种方法往往效果不佳，很多问题的答案并不具有实际参考价值。作为算法人员，我们需要深入了解问题的来源，对于大模型产生的幻觉问题，我们需要明确其定义，是主观的还是客观的，并探讨如何给出一个可执行的解决方案。在业务应用中，除了提供答案，我们还需给出一个概率值来评估答案的可靠...
2024-02-15 11:05:15
171
转载 ICLR 2024：长文本的大模型微调--LongLoRA
后台留言『交流』，加入 NewBee讨论组https://github.com/dvlab-research/LongLoRA/tree/main1. 基本信息和摘要论文题目：LongLoRA: Efficient Fine-Tuning of Long-Context Large Language Models作者：ICLR author摘要：本文提出了一种高效的微调方法，可以扩展预训练的大型语...
2024-02-14 11:05:26
117
转载 双塔模型及其优化方法总结
作者：星翰链接：https://zhuanlan.zhihu.com/p/576286147后台留言『交流』，加入 NewBee讨论组双塔模型结构凭借其出色的预测效率广泛应用于推荐系统、文本匹配等领域的召回阶段。经典工作如微软的DSSM[1]，谷歌的YoutubeDNN[2]，Airbnb的个性化用户embedding[3]等方法均在许多工业场景落地，并取得了显著的效果提升。随着双塔模型自身优化逐...
2024-02-12 11:05:50
214
转载 田渊栋：2023 狂飙的大模型
作者|田渊栋，MetaFAIR研究院研究员整理|NewBeeNLPhttps://zhuanlan.zhihu.com/p/675287417后台留言『交流』，加入 NewBee讨论组今年是狂飙突进的一年，无论在技术上，还是在技术之外的领域上。今年都没有空写分享文章，光看文章追热点就看不过来了，希望明年能够好些（当然也可能竞争变得更加激烈）。今年研究的主要重心转移到了大语言模型（LLM...
2024-02-11 11:30:52
25
转载 LLM推理加速新范式！推测解码（Speculative Decoding）最新综述
作者：hemingkx合作单位：香港理工大学、北京大学、微软亚洲研究院、阿里巴巴原文链接：https://zhuanlan.zhihu.com/p/678404136好久不见！在这里跟大家分享我们最近关于推测解码（Speculative Decoding）的一篇综述：Unlocking Efficiency in Large Language Model Inference: A Comprehe...
2024-02-08 11:05:09
157
转载 发NLP方向顶会这24个研究方向可以卷
NewBeeNLP争取到了研梦非凡春节特惠价导师 meeting 福利！将在自然语言处理与推荐系统研究方向为同学们提供更专业，更灵活，更靠谱的科研论文指导！| NewBeeNLP公众号粉丝福利1小时SCI科研论文指导导师meeting原价2999元，NewBeeNLP粉丝专享价9.9元（第一批）先到先匹配导师！快来订购！专享价截止日期：2024年2月18日扫描助教二维码预约meeting????...
2024-02-08 11:05:09
34
转载 抽奖啦！！给你一点程序员新年的震撼！
在这个数字化时代，技术日新月异，稍不留神，可能就会被“弯道超车”。春节的钟声即将敲响，这是一个团圆、温馨的时刻，对于那些热爱技术追求创新的开发者们，春节也是“充电”的好时机。文心大模型携手飞桨，以“龙码精神，龘在星河”为主题发起四大活动，准备了一场专属于开发者们的惊喜盛会回馈新老开发者，让大家一边体会技术魅力，一边拿礼品拿到手软！【Part 1 精选应用征集令】如果你有真实产业需求如果你有创意趣味...
2024-02-07 11:06:02
15
转载 当终端智能遇上推荐系统: 端侧推荐系统综述
TLDR: 本文详细介绍了端侧推荐系统的最新进展情况，具体包括端侧推理与部署、端侧训练与更新以及端侧推荐系统的安全与隐私等部分。最后介绍了这一研究领域所面临的潜在挑战以及未来可期的研究主题等。论文：https://arxiv.org/abs/2401.11441推荐系统作为一种帮助在线用户有效地从海量数据中定位相关信息的重要技术，已经在许多应用领域得到了广泛应用，比如电子商务、多媒体平台、基于位置...
2024-02-07 11:06:02
30
原创 详解各种LLM系列｜LLaMA 1 模型架构、预训练、部署优化特点总结
作者|Sunnyyyyy整理|NewBeeNLPhttps://zhuanlan.zhihu.com/p/668698204后台留言『交流』，加入 NewBee讨论组LLaMA 是Meta在2023年2月发布的一系列从 7B到 65B 参数的基础语言模型。LLaMA作为第一个向学术界开源的模型，在大模型爆发的时代具有标志性的意义。为了更深入地理解LLaMA的技术特点，特地在此整理了LLa...
2024-02-06 11:05:17
2235
转载 在华为，请假一天的代价是3700…
后台留言『交流』，加入 NewBee讨论组最近，一篇「在华为，请假一天的代价是3700」的帖子引发网友热议原来，在华为请假会影响每个月的奖金和年终，所以很多人都会选择拿周末的加班来调。在华为周末加班是双倍工资，请假一天相当于扣除双倍的日工资，倒推一下，小编盲猜每月基础工资大概是3700/2*20=3700*10=37000对此，有网友调侃道「这么高的base，不是月薪3k的我应该讨论的事情」有网友...
2024-02-05 12:03:42
22
转载 HiFT全参数微调新范式---逐层微调
作者：刘永康单位：东北大学、慕尼黑大学论文链接:https://arxiv.org/abs/2401.15207HiFT 是一个端到端的层级优化策略。目前论文的结果是原始混合精度的结果，目前最新进展已将混合精度进行了分层适配，微调7B模型的内存需求约为16.87G，13B模型约为31G(batch=1,seq_length=512)背景在大语言模型之前，语言模型适配下游任务的首选方法就是全参数微...
2024-02-05 12:03:42
29
转载 他山之石：360 多兴趣召回 Mind 实战优化
后台留言『交流』，加入 NewBee讨论组导读本文介绍了 360 信息流推荐场景下，利用 Mind 对用户行为进行多兴趣抽取及召回的相关工作。主要包括以下六个部分：1.业务背景介绍2.Mind 模型及其发展介绍3.Mind 模型中胶囊选择及其他改造4.实际建模效果及业务收益5.总结6.参考文献分享嘉宾｜卢思彤 360 视频信息流算法工程师内容校对｜李瑶出品社区｜DataFun01业...
2024-02-04 11:05:12
21
转载 ControlRec：对齐LLM和推荐系统之间的语义差异
后台留言『交流』，加入 NewBee讨论组标题：ControlRec: Bridging the Semantic Gap between Language Model and Personalized Recommendation地址：https://arxiv.org/pdf/2311.16441.pdf学校，公司：中国科学院大学，美团1.导读LLM应用于推荐领域已经有很多例子了，但是从经典推...
2024-02-02 11:06:02
26
转载 年终汇总！ACL23、EMNLP23、ICLR24、AAAI24、NIPS23、ICML23论文合集
AAAI2024放榜后，今年的主要顶会的录用结果基本全部发布。我花了3个月的时间整理了包括AAAI2024、ICLR2024、CVPR 2023、ECCV 2023、ICML 2023、ICLR 2023、NeurIPS 2023、ACL 2023、EMNLP 2023、AAAI 2023、WWW 2023等顶会在内的超过20000篇人工智能优质论文，今天一次性分享给大家。为了方便大家阅读，我把各...
2024-02-02 11:06:02
54
原创 ICLR 2024：无需标签即可评估模型性能？
作者|彭儒@浙江大学整理|NewBeeNLPhttps://arxiv.org/abs/2401.12689后台留言『交流』，加入 NewBee讨论组大家好，这里是 NewBeeNLP。今天分享来自浙江大学ICLR 2024的关于自动模型评估AutoEval的最新工作：MDE。概要机器学习模型的传统评估协议严重依赖于 带标签的 、 独立同分布 假设的测试数据集，而这在实际应用中并不常见。...
2024-02-01 11:05:32
829
转载 收藏！万字长文聊聊LLM Agents的现状，问题与未来
作者：hadiii@知乎链接：https://zhuanlan.zhihu.com/p/679177488后台留言『交流』，加入 NewBee讨论组跨年之前，想总结一下去年上半年以来关于LLM Agents的学习经历，同时记录一下我在其中过程的一些想法。明年应该会去到一个新的平台学习和干活，所以今年得好好总结一下之前的学习和想法。本文会系统地组织起来，尽量多一些干货，并同时考虑普适性和专业性，也会...
2024-01-31 11:05:13
218
原创 EMNLP'23：大模型时代的数据标注—FreeAL
作者|皓波@浙江大学整理|NewBeeNLPhttps://zhuanlan.zhihu.com/p/672287298后台留言『交流』，加入 NewBee讨论组本文跟大家介绍我们和网易伏羲合作发表在EMNLP'23主会的工作FreeAL: Towards Human-Free Active Learning in the Era of Large Language Models[1]，...
2024-01-29 11:05:14
821
转载 国家电网工资待遇曝光！
后台留言『交流』，加入 NewBee讨论组大家好，这里是 NewBeeNLP。随着生活节奏的加快，大环境如此的不好，能有一份稳定的工作也越来越重要！因此薪资高福利好工作稳定的国家电网，也就成为了无数应届毕业生的就业首选。国家电网有限公司作为国内经营范围最大的电网企业，是解决电气工程专业毕业生就业的大户，国家电网公司的下属机构因为需求对口，每年会招聘大量该专业的毕业生。网上这张截图的爆光，真假不好判...
2024-01-27 11:05:21
105
转载 如何将知识图谱与AIGC结合？京东是这么做的
后台留言『交流』，加入 NewBee讨论组导读大家好，这里是NewBeeNLP。本文将分享如何将知识图谱应用到电商场景下的 AIGC。文章将围绕下面五个方面进行分享：1.导言2.基于领域知识图谱的商品文案生成3.基于通用知识图谱的商品文案生成4.基于领域知识图谱的 LLM5.基于通用知识图谱的 LLM分享嘉宾｜李浩然博士京东科技言犀大模型算法负责人出品社区｜DataFun01导言首...
2024-01-25 23:32:50
61
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人