【报名！开年重磅好课】“走进京东——卓越研效架构师”研习营开课在即

于 2024-03-08 08:00:27 发布
阅读量68 收藏
点赞数
原文链接：https://mp.weixin.qq.com/s?__biz=MzU1OTgxMTg2Nw==&mid=2247508474&idx=1&sn=f427c85a6816a16d156eda578662f8bc&chksm=fdcff58b98f0b3ba5a8afddfc1c85a36c810d390fd9f18f5d82a87c7e008040cdb4a5f0b06be&scene=126&sessionid=0
版权

7e2cc76d2472b7a6b9ef0c7d0901e66e.png

博客
大促数据库压力激增，如何一眼定位 SQL 执行来源？
06-10 362
)@Override// ...})@Overridetry {// 1. 找到 StatementHandler（SQL 执行时，StatementHandler 的实际类型为 RoutingStatementHandler）= null) {// 其中 delegate 是实际类型的 StatementHandler （静态代理模式），获取到实际的 StatementHandler。
博客
由 Mybatis 源码畅谈软件设计（九）：“能用就行” 其实远远不够
06-10 368
或者为其。
博客
前端开发中依赖包有问题怎么办
06-10 316
作者：屠永涛。
博客
JDK从8升级到21的问题集
06-06 498
第一步：在本地进行编译，提前识别出语法错误、版本冲突及不兼容问题。主要有以下几种场景：Base64：参照【Base64编解码改造】升级版本jsr250、jaxb-runtime、jakarta.annotation-api：参照【注解包冲突典型案例】升级版本升级版本升级版本。
博客
设计模式-策略模式
06-06 157
作者：京东工业 孙磊。
博客
【银河麒麟高级服务器操作系统】正式上线云主机官方镜像
06-06 338
为此，京东云与国产操作系统领军品牌麒麟软件达成深度合作，双方已完成银河麒麟高级服务器操作系统与京东云平台在海光、鲲鹏、Intel、AMD等多款x86、arm处理器的适配认证，基于此，京东云正式推出。京东云此次上线的银河麒麟操作系统镜像，改变了云上使用商业化操作系统授权的采购模式，只需在购买云主机时一键选择银河麒麟高级服务器操作系统镜像，即可自动完成授权绑定，真正实现“开箱即用”。，以订阅式服务模式，为企业提供更灵活、更便捷的云上国产化解决方案，目前该镜像已上线至官方镜像，并在全地域发布。
博客
做「长期主义者」的技术人们
06-03 651
近年来，传统的深度稀疏模型已经进入瓶颈，稀疏大模型是成为新的技术升级方向，但概率预估与生成式模型的差异，以及工业级的高请求、低延迟要求，使升级充满挑战。Taro 是由京东发起的开放式跨端跨框架解决方案，支持以 Web 的开发范式来实现小程序、H5、原生 APP 的跨端统一开发，从18年开源至今，在 GitHub 已累计获得 36,000+ Stars。2、在技术工作的初期，我往往会从一个个具体的问题点切入，比如优化某个算法的性能、解决特定的技术难题等。在技术发展的浪潮中，有人辗转风口，有人深耕沉淀。
博客
Taro on Harmony C-API 版本正式开源
06-03 726
Taro on Harmony C-API 版本经历了京东鸿蒙 APP 的实践，综合性能、生态以及开发体验来讲，毫无疑问已经成为了开发鸿蒙应用的最佳框架选型之一。当下，我们也仍然在不断完善着鸿蒙的适配方案，基于当前的 Taro on Harmony C-API 方案，我们会进行多线程的架构升级以及 React 的 C++ 化，进一步提升 Taro 在鸿蒙端侧的性能，并极大地降低应用的丢帧率，整体进展也已经处于验证和测试阶段。
博客
解剖DeepSeek四把刀，一场深到源码，大到行业，细到人心的手术盛宴
06-03 376
在这个算力与算法疯狂博弈的时代，DeepSeek就像一剂强效兴奋剂，能让追赶者瞬间爆发，却有可能治不好核心技术的贫血症，下一个十年AI王座的归属，恐怕要看谁能再这条钢索上走出最精妙的平衡。反观OpenAi彻底闭源的API模式，DeepSeek这招即赚了口碑，又卡住了技术咽喉。第三刀：刺穿精度幻象，在数学推理测实际上，DeepSeek-R1确实追评了GPT-3，但当用医疗影像诊断任务实测时，FP8精度导致的梯度消失问题暴露无疑：例如模型可能会把0.8cm的肿瘤误判为0.1cm，这种误差在现实场景中足以致命。
博客
做「长期主义者」的技术人们
05-29 177
近年来，传统的深度稀疏模型已经进入瓶颈，稀疏大模型是成为新的技术升级方向，但概率预估与生成式模型的差异，以及工业级的高请求、低延迟要求，使升级充满挑战。Taro 是由京东发起的开放式跨端跨框架解决方案，支持以 Web 的开发范式来实现小程序、H5、原生 APP 的跨端统一开发，从18年开源至今，在 GitHub 已累计获得 36,000+ Stars。2、在技术工作的初期，我往往会从一个个具体的问题点切入，比如优化某个算法的性能、解决特定的技术难题等。1、在技术实践中，“简单”往往是最难实现的。
博客
EMNLP 2024 | 突破RQ-SID“沙漏“瓶颈，提高生成式搜推上限
05-28 181
基于此，我们对该现象进行了深入的理论与实验分析，并提出了相应的解决方案。解决沙漏现象的方法有多种，在此简单的从分布角度提出两种简单易行的方法：一种启发式的方法是直接移除第二层，从而消除长尾效应的影响。需要注意的是，这里首先要生成一个L层的语义ID（SID），然后再移除第二层，这与直接生成一个两层的SID不同，因为后者可能仍然存在大的路由节点。然而，当交换后给定第一个标记时，输出任务变为预测第二或第三层的SID，这使得任务变得更简单，并且长尾分布不再影响结果（因为给定了真实的SID1），因此效果显著提升。
博客
EMNLP 2024 | 突破RQ-SID“沙漏“瓶颈，提高生成式搜推上限
05-28 86
该方法在选择性移除不太重要的tokens的同时，保留了最有信息量的tokens，即使在移除大量数据的情况下，也能提升模型性能。解决沙漏现象的方法有多种，在此简单的从分布角度提出两种简单易行的方法：一种启发式的方法是直接移除第二层，从而消除长尾效应的影响。需要注意的是，这里首先要生成一个L层的语义ID（SID），然后再移除第二层，这与直接生成一个两层的SID不同，因为后者可能仍然存在大的路由节点。通过上述实验，不仅确认了“沙漏”效应的存在，还阐明了其对模型性能的具体影响，从而为未来的优化提供了坚实的基础。
博客
EMNLP 2024 | 突破RQ-SID“沙漏“瓶颈，提高生成式搜推上限
05-28 141
基于此，我们对该现象进行了深入的理论与实验分析，并提出了相应的解决方案。解决沙漏现象的方法有多种，在此简单的从分布角度提出两种简单易行的方法：一种启发式的方法是直接移除第二层，从而消除长尾效应的影响。需要注意的是，这里首先要生成一个L层的语义ID（SID），然后再移除第二层，这与直接生成一个两层的SID不同，因为后者可能仍然存在大的路由节点。然而，当交换后给定第一个标记时，输出任务变为预测第二或第三层的SID，这使得任务变得更简单，并且长尾分布不再影响结果（因为给定了真实的SID1），因此效果显著提升。
博客
EMNLP 2024 | 突破RQ-SID“沙漏“瓶颈，提高生成式搜推上限
05-28 89
该方法在选择性移除不太重要的tokens的同时，保留了最有信息量的tokens，即使在移除大量数据的情况下，也能提升模型性能。解决沙漏现象的方法有多种，在此简单的从分布角度提出两种简单易行的方法：一种启发式的方法是直接移除第二层，从而消除长尾效应的影响。需要注意的是，这里首先要生成一个L层的语义ID（SID），然后再移除第二层，这与直接生成一个两层的SID不同，因为后者可能仍然存在大的路由节点。通过上述实验，不仅确认了“沙漏”效应的存在，还阐明了其对模型性能的具体影响，从而为未来的优化提供了坚实的基础。
博客
EMNLP 2024 | 突破RQ-SID“沙漏“瓶颈，提高生成式搜推上限
05-28 51
该方法在选择性移除不太重要的tokens的同时，保留了最有信息量的tokens，即使在移除大量数据的情况下，也能提升模型性能。解决沙漏现象的方法有多种，在此简单的从分布角度提出两种简单易行的方法：一种启发式的方法是直接移除第二层，从而消除长尾效应的影响。需要注意的是，这里首先要生成一个L层的语义ID（SID），然后再移除第二层，这与直接生成一个两层的SID不同，因为后者可能仍然存在大的路由节点。通过上述实验，不仅确认了“沙漏”效应的存在，还阐明了其对模型性能的具体影响，从而为未来的优化提供了坚实的基础。
博客
EMNLP 2024 | 突破RQ-SID“沙漏“瓶颈，提高生成式搜推上限
05-28 115
该方法在选择性移除不太重要的tokens的同时，保留了最有信息量的tokens，即使在移除大量数据的情况下，也能提升模型性能。解决沙漏现象的方法有多种，在此简单的从分布角度提出两种简单易行的方法：一种启发式的方法是直接移除第二层，从而消除长尾效应的影响。需要注意的是，这里首先要生成一个L层的语义ID（SID），然后再移除第二层，这与直接生成一个两层的SID不同，因为后者可能仍然存在大的路由节点。通过上述实验，不仅确认了“沙漏”效应的存在，还阐明了其对模型性能的具体影响，从而为未来的优化提供了坚实的基础。
博客
EMNLP 2024 | 突破RQ-SID“沙漏“瓶颈，提高生成式搜推上限
05-28 69
基于此，我们对该现象进行了深入的理论与实验分析，并提出了相应的解决方案。解决沙漏现象的方法有多种，在此简单的从分布角度提出两种简单易行的方法：一种启发式的方法是直接移除第二层，从而消除长尾效应的影响。需要注意的是，这里首先要生成一个L层的语义ID（SID），然后再移除第二层，这与直接生成一个两层的SID不同，因为后者可能仍然存在大的路由节点。然而，当交换后给定第一个标记时，输出任务变为预测第二或第三层的SID，这使得任务变得更简单，并且长尾分布不再影响结果（因为给定了真实的SID1），因此效果显著提升。
博客
EMNLP 2024 | 突破RQ-SID“沙漏“瓶颈，提高生成式搜推上限
05-28 21
该方法在选择性移除不太重要的tokens的同时，保留了最有信息量的tokens，即使在移除大量数据的情况下，也能提升模型性能。解决沙漏现象的方法有多种，在此简单的从分布角度提出两种简单易行的方法：一种启发式的方法是直接移除第二层，从而消除长尾效应的影响。需要注意的是，这里首先要生成一个L层的语义ID（SID），然后再移除第二层，这与直接生成一个两层的SID不同，因为后者可能仍然存在大的路由节点。通过上述实验，不仅确认了“沙漏”效应的存在，还阐明了其对模型性能的具体影响，从而为未来的优化提供了坚实的基础。
博客
EMNLP 2024 | 突破RQ-SID“沙漏“瓶颈，提高生成式搜推上限
05-28 81
基于此，我们对该现象进行了深入的理论与实验分析，并提出了相应的解决方案。解决沙漏现象的方法有多种，在此简单的从分布角度提出两种简单易行的方法：一种启发式的方法是直接移除第二层，从而消除长尾效应的影响。需要注意的是，这里首先要生成一个L层的语义ID（SID），然后再移除第二层，这与直接生成一个两层的SID不同，因为后者可能仍然存在大的路由节点。然而，当交换后给定第一个标记时，输出任务变为预测第二或第三层的SID，这使得任务变得更简单，并且长尾分布不再影响结果（因为给定了真实的SID1），因此效果显著提升。
博客
EMNLP 2024 | 突破RQ-SID“沙漏“瓶颈，提高生成式搜推上限
05-28 126
该方法在选择性移除不太重要的tokens的同时，保留了最有信息量的tokens，即使在移除大量数据的情况下，也能提升模型性能。解决沙漏现象的方法有多种，在此简单的从分布角度提出两种简单易行的方法：一种启发式的方法是直接移除第二层，从而消除长尾效应的影响。需要注意的是，这里首先要生成一个L层的语义ID（SID），然后再移除第二层，这与直接生成一个两层的SID不同，因为后者可能仍然存在大的路由节点。通过上述实验，不仅确认了“沙漏”效应的存在，还阐明了其对模型性能的具体影响，从而为未来的优化提供了坚实的基础。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值