2022年AI领域有哪些重要突破？(附报告全文)

于 2022-10-21 14:16:33 发布
阅读量1.5k 收藏 3
点赞数
分类专栏： 技术干货 文章标签： 人工智能 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Baihai_IDP/article/details/127445459
版权

编者按：近期《AI发展现状报告2022》正式发布。该报告由AI投资人Nathan Benaich和Ian Hogarth撰写，由AI工业和学术界资深从业者审核，今年已是该报告联系发布的第5年。

报告详细介绍了过去一年中AI科研、产业、人才、安全等方面的最新情况。以下是Last Week in AI中对该报告核心亮点的总结。

福利时刻：获取报告全文，关注公众号Baihai IDP, 后台回复“AI 2022”

| 作者：Jacky Liang

| 编辑：岳扬，小白

目录

一、核心亮点

1. 2022年AI发展现状总结

2. 微软在其Office套件中加入DALL-E

3. CircularNet: 用机器学习减少资源浪费

二、其他进展

1. 科研领域

2. 应用领域

3. 商业领域

4. 一些担忧与争议


一、核心亮点

1. 2022年AI发展现状总结

2022年AI发展状况报告概述了人工智能科研、工业、安全等领域的主要发展情况。

人工智能科研方面：介绍了Diffusion Models的兴起，社区驱动的大型模型开源，以及当前AI发展趋势，即除了模型变得更大之外，还在朝规模更大的数据集发展。

产业方面：Nvidia芯片持续占据主导地位；AI技术从研究到商业化的周期变得更快；在科技公司持续“优化”员工的情况下，许多著名的研究人员创立了大量初创公司。

机构方面：当涉及到大型模型时，很明显所有工作都在工业界完成，而不是学术界。非学术界的研究机构逐渐增多，实验室的资助来源愈发多元。

AI安全方面：关注安全的业内人士越来越多，在大型AI实验室中从事安全方面研究的研究员数量已达300人，去年这一数字仅为100。

2. 微软在其Office套件中加入DALL-E

微软正在构建一个AI文转图的应用程序Microsoft Designer，其最终可能会集成到Office中。不过其目前只提供有限的功能，微软计划未来将其作为一个独立应用程序发布。

微软还推出了一个类似的应用程序——Image Creator，它将被集成到Bing中。它们都和DALL-E 2的功能相似，DALL-E 2是一个OpenAI构建的文转图模型，微软早在2019年就向其投资了10亿美元。

微软有OpenAI的GPT-3独家授权，但目前尚不清楚类似的授权是否适用于DALL-E 2。

对于使用在公共图像数据集上训练出的大型AI模型进行盈利是否符合道德和法律，微软在推动大型AI模型商业化时可能会引发相关讨论。

作者观点：如果说2022年是text-to-anything模型走出实验室的一年，2023年将是它们在商业应用中大放异彩的一年。将这种强大的Generative Models(生成模型)整合到创意应用中是最直接的应用。事实证明，微软对OpenAI的投资是值得的，因为不仅可以接触到OpenAI的最新研究和模型，还能够积累应用程序训练和托管大型模型的技术。

3. CircularNet: 用机器学习减少资源浪费

谷歌推出了CircularNet，这是一套专门用于废物/可回收物品检测的对象检测和分割模型。该团队开发了一个全球适用的材料类型（如纸张、金属）和形式（如罐子、瓶子）分类法，可处理各种各样的可回收物品。

该模型的数据来自资源回收细分类厂，它们提供了不同种类垃圾的图像数据集。目前，谷歌已经公开了训练好的模型以及数据预处理指南。

作者观点：迄今为止，要求垃圾和可回收物在被废物管理厂处理之前进行清晰的分类显然是比较困难的。通过建设能够自动化处理废物的工厂，对于有效回收和减少垃圾填埋场的使用至关重要。有趣的是，Google公开了这个模型，而不是与资源回收细分类厂合作直接将其商业化。也许这些模型的性能还不够好，或者仅仅识别材料类型还不足以产生重要的经济价值。

二、其他进展

1. 科研领域

人工智能和机器人研究的增长速度加快1 - “通过对整个跨学科领域的过滤，AI和机器人领域持续达到新的高度。"

人工智能应该在评估研究质量中发挥作用吗2 - "英国的一项研究旨在找出人工智能是否可以减轻该国英国高校学术研究排名（Research Excellence Framework）的同行评审负担。"

谷歌AI引入Frame Interpolation for Large Motion——一种新的神经网络架构，可从近乎重复的照片中创建高质量的慢动作视频3 - "许多研究越来越关注帧插值，其在一对输入帧之间合成中间图片。这种做法可以使得刷新率提高，或者创建慢动作视频。"

人工智能很快就可以根据你的声音来诊断疾病4 - "声音提供了很多信息，它们甚至可以帮助我们诊断疾病，研究人员正在据此开发一款应用程序。美国国家卫生研究院正在资助一个大型研究项目，其收集语音数据并开发一种可以根据人们的语音进行疾病诊断的人工智能。"

人工智能语言模型难以 "理解 "数学5 - "这一研究结果能告诉我们什么？"

UL2 20B：开源的统一语言学习者6 - "在 ‘统一语言学习范式’中，我们提出一个新颖的语言预训练范式，称为统一语言学习者（UL2），其可在不同的数据集和设置中普遍提高语言模型的性能。"

2. 应用领域

人工智能扫描飓风“伊恩”的破坏，以便准确向贫穷受害者提供帮助7 - "非营利组织GiveDirectly与谷歌合作利用AI寻找那些最需要帮助的人，他们使用AI扫描佛罗里达和波多黎各被风暴破坏后的航空图像和当地的贫困数据。"

DispatchTrack推出AI驱动的碳排放跟踪系统8 - "最后一公里配送服务供应商DispatchTrack推出了一个以人工智能驱动的碳排放跟踪系统，可帮助企业实现其供应链的可持续发展目标。"

AI消防头盔有望成为消防的未来9 - "苏格兰科学家设计了一个AI消防头盔，能够为消防员提供关于火灾的实时信息。"

这个播客让史蒂夫-乔布斯重获新生，这要归功于人工智能10 - "这一集博客的开头有一个声明——整个对话都是由人工智能生成的。"

对玩家和开发者来说，机器学习的潜力无限11 - "Haven工作室的Jade Raymond和Leon O'Reilly与Mark Cerny一起讨论了新AI技术如何从概念化到定制化改变游戏"

人工智能也能根据口味和饮食习惯生成食谱!12 - "爱沙尼亚的创业公司Yummy创建了一个餐盒公司，并开发了一个AI应用根据大家的口味和饮食习惯创建和调整食谱，并配有AI生成的菜肴图像。"

詹姆斯-库克医院团队在机器人的帮助下切除了肿瘤13 - "医生现在使用机器人帮助切除肺部肿瘤。米德尔斯堡的詹姆斯-库克大学医院的外科医生据说是英国第一个进行这种开创性手术的人。"

微软开源了一项可用于提升农场生产效率的人工智能算法14 - "微软今天开源了FarmVibes.AI，这是一个人工智能模型集合，农场经营者可以用它来更高效的执行作物种植等任务。"

一项研究通过开发机器学习模型来关注各种风险因素，以达到预测老年痴呆症患者住院结果的目的15 - "通过使用人工智能，休斯顿卫理公会的研究人员能够预测老年痴呆症患者在入院第一天或第二天的住院结果。"

AI工具可以从短信中检测出精神健康衰退迹象16 - "华盛顿大学医学院的研究人员发现，一种人工智能工具可以准确识别严重精神疾病患者短信中的 "危险信号语言"。"

深度学习让3D打印部件的CT检查更快、更准确17 - "能源部橡树岭国家实验室开发的一个新的深度学习框架能够加快使用X射线计算机断层扫描（或CT）检查增材制造金属部件的过程，同时提高结果的准确性。"

识别抵押贷款欺诈的人工智能提高了30%的检测成功率18 - "AI文件取证方案将一家在线抵押贷款经纪公司的欺诈检测率提高了30%，还减少了调查员的工作量。"

3. 商业领域

文转图生成器Stable Diffusion背后的初创公司Stability AI悄然融资，估值达10亿美元 - "熟悉该交易的多个消息人士告诉Insider，文转图生成器Stable Diffusion的开发公司Stability AI已完成新一轮融资，该公司目前估值达10亿美元。"

让我们认识“卡西”，机器人中的尤塞恩-博尔特 - "卡西保持着双足机器人100米冲刺最快的吉尼斯世界纪录，为机器人变得更加逼真铺平了道路。"

人工智能进入了美国连锁快餐Chipotle的厨房 - "Chipotle的下一个时代已经开始了。周二，这家快餐店宣布它正在试用人工智能等多种技术来简化操作。"

Xembly正在筹集资金开发企业会议AI助手 - "宏观经济因素给企业带来了提高工作效率的压力，也给员工及其经理带来了少花钱多办事的压力。"

到2025年，网络安全将占人工智能软件市场的近四分之一19 - "根据一份新报告，到2025年，人工智能（AI）软件市场将从2021年的330亿美元扩大到640亿美元。而网络安全是人工智能支出中增长最快的类别，达到22.3%的年均复合增长率（CAGR）。"

大众汽车将在与中国地平线机器人的科技合资公司中占有60%的股份 - "大众汽车的软件部门Cariad周四表示，其将花费超过20亿美元与中国科技公司地平线机器人成立一家合资公司，大众汽车将占有60%的股份。该操作是为了应对两大挑战：软件和中国市场。"

Instagram将由AI驱动的年龄验证技术带到印度和巴西 - "今年早些时候Instagram开始在美国测试一项技术，以验证用户是否是18岁以上的年龄。该技术包括通过人工智能系统运行视频自拍来验证。"

4. 一些担忧与争议

声称人工智能能够促进工作地点的多样性是 "虚假和危险的" 20- "近年来，许多人认为AI工具能够解决当前劳动力缺乏多样性的问题。比如从使用Chatbots和简历筛选器来寻找候选人，到分析视频面试的软件。"

有科技公司表示，让我们免受不良AI影响的法律会阻碍"创新"21 - "长期以来，人工智能行业在追求自身利益时逃避了法律责任。欧盟表示不能再放任其危害滋蔓。"

AI和机器学习如何改变“网络钓鱼”22- "通过结合人工智能，黑客正在创建更有针对性的网络钓鱼活动，并取得更大的成功。"

揭秘「黑盒」AI模型的时刻还未到来23 - "研究表明，与人类临床医生相比，带有显著性标记的热图在图像评估和发现病理病变的能力方面始终表现不佳，需要进一步完善"

让人工智能做出生死攸关的决定是不符合道德的24 - "AI可以帮助我们做出选择，但不能让它单独做出选择。"

某Twitter 用户利用人工智能窃取《原神》同人作品创作者的工作成果 - "AI绘画生成器使得创作者在完成作品之前，作品就已经“完成”了。"

Reddit社区禁止发布AI创作的作品- "最近几周，一些艺术社区和作品平台禁止上传AI生成的艺术作品。"

END

点击阅读原文，可查看原文。

关注公众号Baihai IDP，并后台回复“AI 2022”，可获得State of AI Report 2022全文。

参考资料

1. Growth in AI and robotics research accelerates : https://www.nature.com/articles/d41586-022-03210-9

2. Should AI have a role in assessing research quality? : https://www.nature.com/articles/d41586-022-03294-3

3. Google AI Introduces Frame Interpolation for Large Motion (FILM): A New Neural Network Architecture To Create High-Quality Slow-Motion Videos From Near-Duplicate Photos : https://www.marktechpost.com/2022/10/08/google-ai-introduces-frame-interpolation-for-large-motion-film-a-new-neural-network-architecture-to-create-high-quality-slow-motion-videos-from-near-duplicate-photos/

4. Artificial intelligence could soon diagnose illness based on the sound of your voice : https://www.npr.org/2022/10/10/1127181418/ai-app-voice-diagnose-disease

5. AI Language Models Are Struggling to “Get” Math - https://spectrum.ieee.org/large-language-models-math

6. UL2 20B: An Open Source Unified Language Learner : http://ai.googleblog.com/2022/10/ul2-20b-open-source-unified-language.html

7. AI scans Hurricane Ian damage to give cash to poorest victims : https://news.yahoo.com/ai-scans-hurricane-ian-damage-145103142.html

8. DispatchTrack launches AI-powered CO2 tracking solution : https://www.parcelandpostaltechnologyinternational.com/news/sustainability/dispatchtrack-launches-ai-powered-co2-tracking-solution.html

9. AI fire helmet expected to be the future of firefighting : https://innovationorigins.com/en/selected/fire-helmet-to-the-rescue-ai-gadget-expected-to-be-the-future-of-firefighting/

10. This podcast brings Steve Jobs back to life, thanks to Artificial intelligence : https://interestingengineering.com/culture/ai-brought-steve-jobs-back-to-life

11. Machine learning's potential for players and developers : https://www.gamesindustry.biz/machine-learnings-potential-for-players-and-developers

12. Great, now the AI is coming for your grandma’s recipes as well! : https://techcrunch.com/2022/10/10/yummy-ai-recipes/

13. James Cook Hospital team cut out tumours aided by robots : https://www.bbc.com/news/uk-england-tees-63212638

14. Microsoft open-sources AI algorithms for optimizing farm operations : https://siliconangle.com/2022/10/06/microsoft-open-sources-ai-algorithms-optimizing-farm-operations/

15. Improving hospital stays and outcomes for older patients with dementia through AI : https://www.sciencedaily.com/releases/2022/09/220929204021.htm

16. AI Tool Can Detect Signs of Mental Health Decline in Text Messages : https://healthitanalytics.com/news/ai-tool-can-detect-signs-of-mental-health-decline-in-text-messages

17. Deep learning makes X-ray CT inspection of 3D-printed parts faster, more accurate : https://www.sciencedaily.com/releases/2022/10/221014135712.htm

18. https://www.rtinsights.com/mortgage-fraud-ai-improves-detection-by-30/

19. https://www.darkreading.com/tech-trends/cybersecurity-will-account-for-nearly-one-quarter-of-ai-software-market-through-2025

20. https://phys.org/news/2022-10-ai-boost-workplace-diversity-spurious.html

21. https://www.theguardian.com/commentisfree/2022/oct/08/tech-firms-artificial-intelligence-ai-liability-directive-act-eu-ccia

22. https://venturebeat.com/ai/how-ai-machine-learning-changing-phishing-game/

23. https://hms.harvard.edu/news/approach-demystify-black-box-ai-not-ready-prime-time

24. https://www.technologyreview.com/20

博客
MCP 与 A2A 两个 AI Agent 协议的关系和区别是什么？
04-30 879
本文通过一个规划夏威夷旅行的生动案例，清晰拆解了这两大协议的本质区别：MCP 更像是为单个 AI Agent 赋能的“超能力工具箱”，而 A2A 则是构建了 AI Agent 专家团队间的“协作网络”。"工具"与"智能体"的界限其实很模糊。但问题在于：Claude 是根据过往的数据训练出来的，既不了解实时的天气状况，也无法预测下周的天气。通过统一标准实现"一次开发，通用适配"——任何新开发的工具或智能体都能无缝接入现有生态，不同组件之间就像标准化接口的乐高积木，无需针对特定组合重复开发对接程序。
博客
Google A2A 与 Anthropic MCP 该如何选择？
04-30 297
本文通过一个规划夏威夷旅行的生动案例，清晰拆解了这两大协议的本质区别：MCP 更像是为单个 AI Agent 赋能的“超能力工具箱”，而 A2A 则是构建了 AI Agent 专家团队间的“协作网络”。"工具"与"智能体"的界限其实很模糊。但问题在于：Claude 是根据过往的数据训练出来的，既不了解实时的天气状况，也无法预测下周的天气。通过统一标准实现"一次开发，通用适配"——任何新开发的工具或智能体都能无缝接入现有生态，不同组件之间就像标准化接口的乐高积木，无需针对特定组合重复开发对接程序。
博客
面对开源大模型浪潮，基础模型公司如何持续盈利？
04-25 483
依我看 —— 观点 1（译者注：标准化产品（如 ChatGPT 的聊天框）已能满足多数用户需求）有一定道理，观点 2（译者注：LLM 推理成本的长期下降趋势是真实的）纯属扯淡，观点 3（译者注：若推理成本真能持续下降，订阅模式利润将显著提升）虽有可能但面临重大技术障碍与组织惯性阻力。唯一的风险在于"旗舰模型"可能会因调用量不足而缺乏实战验证 —— 这个隐患可通过在订阅制的聊天界面给用户使用这些“旗舰模型”，但限制用户的模型可使用量来缓解：这样既能收集用户反馈，又能提升平台的活跃度，在产品之间产生协同效应。
博客
GenAI 时代，数据唾手可得，但真正的挑战已经转变...
04-23 656
现在，你只需不到一美分的成本，就能获得高度个性化的、非常详细的答案，这在过去是根本无法实现的。简而言之，大语言模型（LLMs）推动了用户行为的变化（让用户更愿意提问或交互），这种高频使用生成了海量对话数据，而这些数据中天然包含了用户的真实需求和未被满足的痛点。我们分析了这些对话，以期发现文档中的问题和不足，识别产品缺陷，并收集客户在其他反馈渠道没有表达出来的功能需求。我们今天为大家带来的文章，作者的观点是：在生成式 AI 时代，数据从未失去其“黄金属性”，只是淘金（价值挖掘）的方式变了。
博客
「DeepSeek-V3 技术解析」：DeepSeek-V3-Base 预训练阶段解析
04-21 506
然而，由于余弦函数和正弦函数是周期性的，(pos_i, pos_j) 之间的内积可能看起来与 (pos_i, pos_k) 之间的内积相似，因此在固定 θ 的情况下，仅使用 1K tokens（即位置索引 1~1000） 进行预训练的模型在测试时可能会混淆，因为测试时遇到的位置索引（如 5K 或 10K）可能远远超出了预训练时的上下文窗口。由于我们已在前文中讨论过相关内容，此处不再赘述。需特别说明，得益于本系列文章中介绍的各项创新技术，DeepSeek-V3 的优异性能是在极高的训练效率下实现的。
博客
能否将扩散模型思想应用于 LLMs 领域？大型语言扩散模型（LLDM）详解
04-17 578
这一步会产生部分被掩码的 token 序列。该序列被输入模型的核心组件 —— mask predictor（这是一个基于 Transformer 的模型），该模型通过计算掩码 token 上的交叉熵损失，训练其还原被掩码的 token。与预训练类似，我们随机掩码样本中的部分 token，但此次仅掩码响应部分的 token，保留提示词完整。更令人惊喜的是，LLaDA 在逆向推理任务中表现出色，有效解决了自回归模型在“逆向诅咒”上的局限性，甚至在诗歌逆向补全任务中超越了 GPT-4o 和 Qwen 2.5。
博客
LLMs.txt：让大模型更懂你的 Web 文档
04-11 700
然而，它们在处理网站内容时往往受限于有限的上下文窗口，加上 HTML 页面中大量非核心内容的干扰，导致理解效率低下。随后，越来越多的由 Mintlify 托管的文档开始采用这一标准，为 LLMs.txt 的提议创造了一波知名度。与 /llms.txt 仅提供导航视图和文档结构不同，/llms-full.txt 包含了全部的文档内容，这些内容都是用 markdown 编写的。目前，LLMs.txt 提供了一个切实有效的解决方案，帮助 AI 系统更深入地理解和运用网络资源，特别是在技术文档和 API 领域。
博客
「DeepSeek-V3 技术解析」：多词元预测技术（Multi-Token Prediction, MTP）
04-10 957
此外，该技术可与推测解码（speculative decoding）结合，在推理时，MTP module 并行生成草稿词元，main model 通过单次前向传播验证并修正，凭借 85%-90% 的高接受率实现 1.8 倍的推理加速。在文献 [2] 中，作者尝试通过 MTP 技术预测未来的 2 个词元（token），并将其与推测解码相结合，结果发现第二个词元预测的接受率约为 85%~90%，这表明其 MTP 策略的生成质量稳定可靠。在本实验中，MTP module 在推理时被完全丢弃，因此推理时间无差异。
博客
基于 DeepSeek GRPO 的 1.5B Rust 代码生成模型训练实战
04-07 922
部分输出示例：https://www.oxen.ai/ox/Rust/file/GRPO_82_2025-03-02_22-49-17_Qwen2.5-Coder-1.5B-Instruct/outputs/GRPO_82_2025-03-02_22-49-17_Qwen2.5-Coder-1.5B-Instruct/cargo_test_rewards.jsonl?需要观察模型在每个奖励维度（如代码编译通过率等）上的改进情况，定期抽查模型接收的提示词（输入）及其生成的代码（输出）。
博客
「DeepSeek-V3 技术解析」：无辅助损失函数的负载均衡
04-02 1361
在混合专家模型（MoE）的实践中，负载不均衡俨然已成为制约模型性能提升的关键瓶颈之一。传统的均衡策略往往需要引入复杂的辅助损失函数，不仅增加了训练的复杂度，还可能干扰模型的核心学习目标。工程师们在提升模型效率的道路上，一直苦苦追寻着一个优雅而高效的平衡解决方案。DeepSeek 团队的这项研究，为这一长期困扰业界的技术难题提供了令人耳目一新的解决思路：通过在门控分数中直接添加专家层面的偏置项，在绝大部分不引入额外损失函数的情况下，实现了模型训练过程中的自适应负载均衡。
博客
为什么大模型在 OCR 任务上表现不佳？
03-28 1174
更令人震惊的是，我们在最新的 SOTA 模型（OpenAI 的 o1、Anthropic 的新版本 3.5 Sonnet 和 Google 的Gemini 2.0 flash）上运行相同测试时，所有模型都会犯完全相同的错误。这些见解来自 Pulse 项目团队的一线实战经验，他们在为大型企业构建数据提取解决方案的过程中，积累了宝贵的第一手资料。当时我们还未曾意识到，在实现这一目标的过程中，会遇到一个障碍，而这个障碍彻底改变了我们对 Pulse 的开发思路。以一个包含“1,234.56”的简单表格单元格为例。
博客
图解「模型上下文协议（MCP）」：从与传统 API 的比较入手
03-26 2112
文章详细介绍了 MCP 的核心架构，包括 Host（提供 AI 交互环境的应用程序）、Client（实现与 MCP Servers 通信）和 Server（提供特定能力和数据访问）三大组件。我们今天带来的这篇文章，作者的核心观点是：MCP 通过标准化通信协议，让 AI 应用与外部工具、数据的交互如同 USB-C 接口一般高效且灵活，彻底改变传统 API 架构的僵化限制。MCP 的核心遵循客户端-服务器（client-server）架构，Host 应用程序可以连接到多个 Server。
博客
「DeepSeek-V3 技术解析」：DeepSeekMoE
03-21 909
应用更细粒度的专家分割（fine-grained expert segmentation）后，每种菜系所需的技能被拆分给多个专家掌握，于是我们得到一组专精中餐的厨师和另一组专精意大利菜的厨师，每位厨师只需掌握该菜系的特定技能。图3 © 也展示了该策略的实现方式：选定一个专家作为共享专家（绿色高亮标记），所有输入 token 均不经路由层（Router）直接激活该专家，同时将激活的专项专家数量从 4 个减至 3 个，使总激活专家数量与图 3 (b) 保持相同。换言之，路由专家具有更高专业性且冗余度更低。
博客
「DeepSeek-V3 技术解析」：多头潜在注意力机制（MLA）
03-19 735
在每个解码步骤中，仅计算新的查询向量 Q（Query），而缓存中存储的 K（Keys）和 V（Values）会被复用，注意力机制将通过新计算的 Q 与复用的 K、V 进行运算。为了更清晰地理解这一点，来看看使用公式 (7) 计算注意力时的情形：当我们对 q 进行转置并与 k 相乘时，矩阵 W^Q 和 W^{UK} 会出现在中间环节，它们的组合等效于从将 d_c（输入向量的维度）映射到目标维度 d。具体而言，RoPE 会对每个词元（token）的查询向量和键向量应用一个与位置相关的旋转矩阵。
博客
如何高效地为「推理模型」编写最佳提示词？万字长文介绍
03-14 587
作者 | Agustinmantaras编译 | 岳扬OpenAI 的 O1 和 O3-mini 是两款先进的推理模型，与基础版 GPT-4（通常称为 GPT-4o）在提示词处理和答案生成方式上存在明显差异。这些模型通过模拟人类的分析方法，在处理复杂问题时会投入更多时间进行“深度思考”。禁止尝试提取模型的内部推理过程，此类行为违反使用准则。本文将探讨 O1 与 O3-mini 在输入处理、推理能力和响应行为等方面与 GPT-4o 的区别，并阐述优化推理模型性能的提示词工程最佳实践。最后，我们将这些方法论应用
博客
为什么说 JSON 不一定是 LLM 结构化输出的最佳选择？
03-12 656
如前文所述，CSV 格式的挑战在于逗号在数据中较为常见，这可能会导致两种情况：要么是需要更多的 tokens 来处理这些逗号，要么是 LLM 在处理时未能正确进行转义，从而产生错误的数据。因此，如果你的数据可能包含逗号，最好避免使用 CSV，或者设计一个详尽的提示词，并实施有效的评估流程，以便准确衡量其可靠性。我们今天为大家带来的文章中，作者通过实际测试给出建议：在某些场景下，相比广泛使用的 JSON 格式，不妨考虑一下其他数据格式，做一些测试，挑选出既能控制成本又能保证稳定性和速度的最佳选项。
博客
7B 开源模型性能超越 LLaVA，DeepSeek Janus Pro 论文详解
03-10 1086
提到 DeepSeek，大家可能更熟悉 R1 模型 —— 这款以低成本、高性能和开源特性颠覆行业的语言模型，而今天这篇文章介绍的 DeepSeek Janus Pro，通过创新的架构设计，在性能上超越了同领域的众多顶尖专用模型（Janus-Pro 7B 在图像理解和图像生成两方面都超越了 LLaVA、Dalle 3 和 SD XL 这样的主流选手）。对于图像生成任务，则在 LLM 上添加一个图像解码头，由其处理最终的隐藏状态（Hidden State，包含输入序列的语义信息）生成图像。
博客
后 DeepSeek R1 时代：从资本壁垒到技术普惠
03-05 974
相比两年前，当今开发者的模型推理成本已下降 100-200 倍，这种成本曲线陡降速度在云计算 15 年的发展史上都前所未见。但还有一种理论认为：任何优势都可能被竞争淘汰，真正重要的是行业能获得多少关注度 —— 如果你能每天登上所有新闻媒体的头条，当加入并从中分一杯羹的进入门槛足够低时，供应链中任何明显的利润空间都会被彻底榨干。我们今天为大家带来的文章，作者的核心观点是：以深度求索（DeepSeek）R1 模型为代表的高效推理技术，正在颠覆 AI 经济的底层规则，推动行业进入“轻量化革命”时代。
博客
绕过 RAG 实时检索瓶颈，缓存增强生成（CAG）如何助力性能突破？
02-28 997
这篇论文提出了一种高效的方法，可以在有限的内存和计算资源约束下，将基于 Transformer 的大语言模型（LLMs）扩展到处理无限长的输入。通过将海量外部知识嵌入模型的上下文窗口，CAG 能够生成信息丰富且上下文相关的回答，避免了传统检索增强生成（RAG）系统的检索延迟。这些策略为扩展测试时计算（test-time computation）提供了额外的灵活性（例如，通过增加检索的文档数量或生成步骤），从而增强 LLMs 获取和利用上下文信息的能力。这种方法消除了检索延迟，将检索错误的风险降至最低。
博客
从PPO到GRPO：算力减半的大模型推理能力训练革命
02-27 621
在训练过程中，强化表现好的输出（提高其概率），抑制表现差的输出（降低其概率），从而引导模型优化方向。在 PPO 算法中，传统价值模型的核心任务是评估生成内容的质量，或者说预测这些内容获得高奖励值（high reward）的可能性。由于我们现在训练的是语言模型，只需调整 temperature 参数即可生成多个候选回答，所有生成回答的平均奖励值即可作为衡量当前模型表现的良好信号，以及决定是否需要强化该行为。在这篇文章中，我们将深入探讨 GRPO 的细节，助您掌握这项推动大模型推理能力突破的关键技术。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值