- 博客(139)
- 收藏
- 关注
RSS订阅原创 如何在MindSearch中集成新的搜索API，全面提升智能搜索能力！
本文深入探讨了在 MindSearch 中实现新的 搜索 API 所需注意的关键事项，并详细介绍了 SearcherAgent 的调用流程，包括涉及的类和函数。特别地，我们重点介绍了如何在 bing_browser.py 中支持新的搜索 API，具体包括实现新的 Searcher 类，以及定义 def search()、def _call_serper_api()和def _parse_response()函数，以确保新的搜索 API 能够无缝集成并扩展现有功能。MindSearch 兴趣小组招募。
2024-09-12 19:03:44
1040
原创 和 InternLM 解锁“谁是卧底”新玩法
本文来自社区投稿，作者LangGPT联合发起人、东北大学在读博士生王明在大模型技术日益普及的今天，AI 的应用已经渗透到各个领域，带来了无数创新和乐趣。今天，我们将一起探索如何搭建一个 AI 版的“谁是卧底”游戏。通过和平台，你将学会如何配置环境、调用大模型接口，最后和展开一场关于“谁是卧底”的脑力对决。（欢迎使用 InternLM 系列开源大模型开发有趣有用的 AI 应用）
2024-09-09 13:53:03
890
原创 RAG 进阶：零成本 chat_with_readthedocs
假设你已经熟悉 readthedocs 基本用法，可以直接拷贝 HuixiangDou docs 目录zh 或 en 目录皆可在 requirements/doc.txt 设置自定义主题是我们的自定义主题实现，主要是：在创建了一个 chatButton 和空白 container为 chatButton 绑定事件。
2024-09-03 19:57:59
697
原创 LLM自对齐技术最新研究分享（三）Multi-agent 对齐
至此 LLM 自对齐技术最新研究进展分享 系列文章到此就完结啦！Self-alignment 作为 AI 领域的一项前沿技术，其核心目标是通过减少人类干预，使大型语言模型（LLM）能够自我优化和调整，以更好地适应各种任务和指令。本系列文章综述了 Self-alignment 的两大实现途径：对齐 Pipline 数据合成和 Multi-agent 对齐。
2024-08-28 19:22:35
991
原创 LLM自对齐技术最新研究分享（二）：对齐 Pipeline 数据合成（下）
本文我们重点探讨了“如何让 LLM 采集 Response”，解决了如何拿到 Response 的问题。至此，对于“对齐 Pipeline 数据合成”路线的 Self-alignment，我们需要关注的两大问题已全部有了答案。在下一篇文章，我们将继续探讨 Self-alignment 的另一实现路线——Multi-agent 对齐，敬请期待哦！
2024-08-27 18:31:57
638
原创 LLM自对齐技术最新研究分享（一）：对齐 Pipeline 数据合成（上）
本文我们重点探讨了“如何让 LLM 合成 Instructions”，解决了 Instructions 从哪里来的问题。下一篇文章，我们将重点探讨“如何让 LLM 采集 Response”，敬请期待哦！
2024-08-26 19:06:41
933
原创 InternLM2.5-20B-Chat 正式上线 SiliconCloud 平台
SiliconCloud 是硅基流动推出的一站式大模型云服务平台。通过提供更快、更便宜、更全面的主流开源大模型 API 服务，SiliconCloud 希望能打造“大模型 Token 工厂”，帮助开发者真正实现“ Token 自由”。目前，平台已上架多种大语言模型、向量&重排序模型、包含图片/视频生成的多模态大模型，用户可自由切换适合不同应用场景的模型。在 2024 年 7 月 4 日的 WAIC 科学前沿主论坛上，上海人工智能实验室推出了书生·浦语系列模型的全新版本——InternLM2.5。
2024-08-22 20:00:07
667
原创 这个图像风格迁移神器，效果炸裂！
借助扩散模型的强大能力实现任意图的风格到任意的内容的迁移存在两大难点：生成的图片难以还原用户输入图像的风格细节生成的图片常常会有输入图像内容的泄露。为应对这些挑战，StyleShot 巧妙地设计了能够精确复原风格细节并减少内容泄露的框架。其框架如下图所示，用户输入的风格图像将通过专门设计的编码器提取风格特征，随后在 UNet 中进行Cross-Attention 运算以实现风格注入。
2024-08-20 19:17:26
348
原创 安卓端侧大模型 MLC-LLM 部署全攻略：以 InternLM2.5-1.8B 为例
MLC-LLM 是一个机器学习编译器和高性能大型语言模型部署引擎。该项目的使命是让每个人都能在自己的平台上开发、优化和部署 AI 模型。InternLM 2.5 是上海人工智能实验室发布的新一代大规模语言模型，相比于之前的版本，InternLM 2.5支持百万长文，推理能力开源领先。本文将带大家手把手使用 MLC-LLM 将 InternLM2.5-1.8B-Chat部署到安卓手机上。
2024-08-13 19:18:26
1198
5
原创 Compass Arena 上新啦！新增双多模态模型匿名对战
2024 年 5 月，上海人工智能实验室司南 OpenCompass 团队 与魔搭 ModelScope 联合推出了大模型评测平台——Compass Arena（大模型竞技场），为国内的大语言模型领域引入了一种全新的竞技模式。今天，Compass Arena 迎来重磅更新，新增了多模态大模型竞技版块——Compass Multi-Modal Arena。在这个全新的竞技场，用户可以轻松体验和比较多款主流多模态大模型的效果，找到适合自己的。
2024-08-12 13:13:24
715
原创 RAG 进阶：一个 ctrl-c 就能拿走的图文检索框架
本文分享了 HuixiangDou 在实现图片混合检索过程中，在设计层面的考量，我们更鼓励用户拿走代码。在图文检索方面，目前只支持 markdown 文件，还需支持更多格式。
2024-08-09 11:29:46
669
原创 RAG进阶：混合稠密检索和知识图谱来提升精度
本文使用 qwen1.5-110B 做 NER，为降低成本使用 silicon clould API，使用的知识库仍然是 OpenMMLab 相关的 9 个算法库。与传统的关系型数据库不同，它用节点和边来表示数据实体和它们之间的关系，而不是使用表和列。它提供了丰富的数据结构和算法来创建、操作和研究复杂的网络结构，包括无向图、有向图、多图、无权图和加权图。本文假设这种高频词汇，在 RAG 中应该有更大权重。本文基于知识图谱和稠密检索的混合方案，本质是在稠密检索中给高频词加权，能带来不到 2 个点的精度提升。
2024-08-08 19:18:45
756
原创 面向多样应用需求，书生·浦语2.5开源超轻量、高性能多种参数版本
在 2024 年 7 月 4 日的 WAIC 科学前沿主论坛上，上海人工智能实验室推出了书生·浦语系列模型的全新版本——InternLM2.5。相较于上一代，InternLM2.5 全面增强了在复杂场景下的推理能力，支持 1M 超长上下文，能自主进行互联网搜索并从上百个网页中完成信息整合。此前，面向广泛应用场景的轻量级 InternLM2.5-7B 已开源。为适应更多样化应用场景及不同开发者需求，InternLM2.5 再次开源 1.8B、20B 参数版本。
2024-08-06 20:00:00
707
原创 7B 开源模型突破 IMO 形式化证明，霸榜数学竞赛
去年底，著名数学家、菲尔兹奖获得者陶哲轩就提出 AI 将加速数学研究，成为数学家的可靠伙伴，并且在形式化语言 Lean 的帮助下，成功证明了多项式 Freiman-Ruzsa 猜想。在今年的国际数学奥林匹克竞赛（IMO）上，谷歌Deepmind 推出的 AlphaProof 和 AlphaGeometry 2 和人类顶尖大脑同台竞技，以 28 分的惊人成绩获得银牌，和金牌仅有 1 分之差。AlphaProof 就是使用形式化语言 LEAN 进行命题的证明。
2024-08-02 18:19:54
873
原创 还在排队 SearchGPT？快来试试 MindSearch！
7 月 25 日，OpenAI 发布了其 AI 搜索的原型系统 SearchGPT，在社区引起轰动。社区小伙伴们纷纷加入了排队试用的名单。SearchGPT 将 LLM 和搜索引擎结合，试图成为我们搜集信息、探索知识、解决问题的重要工具。然而，鉴于年初的 Sora 到目前都还没未真正实现大规模体验，也有网友对今年用上 SearchGPT 持悲观态度。既然 SearchGPT 可能遥遥无期，那我们有没有开源平替免费尝鲜呢？今天，有了！
2024-07-31 11:23:45
727
原创 第二期书生·浦语大模型实战营优秀项目一览
书生·浦语社区于 2023 年年底正式推出了书生·浦语大模型实战营系列活动，至今已有两期五批次同学参加大模型学习、实战，线上课程累计学习超过 10 万人次。实战营特设项目实践环节，提供 A100 算力支持，鼓励学员动手开发。第 2 期实战营共收到 500 多个项目申报，我们在众多的项目中为大家精选了 23 个优秀项目，现在就让我们一起欣赏下学员们的成果吧，看看他们是怎么将奇思妙想带入现实~
2024-06-25 19:16:00
475
原创 text2vec 如何选择 chunksize 和 splitter？
本文基于茴香豆真实数据，给出 text2vec 模型的 chunksize 的上下界，同时提供选择 splitter 和 text2vec 模型的依据。当然本次验证并不全面，仍需覆盖更多领域（如电力）和任务类型（如图文混合检索），我们将进一步探索。需要额外说明的是，为了让机器人“有问必答”、避免太高冷，豆哥源码关注的是 recall 而非 F1，实际阈值会偏低。参考文档。
2024-06-20 16:19:48
784
原创 LLM推理后端性能大比拼，来自BentoML团队的深度评估！
选择适宜的推理后端来服务大型语言模型 (LLMs) 至关重要。它不仅可以确保用户通过快速生成速度获得最佳体验，还可以通过 token 的高生成率和资源利用率降本增效。如今，开发者可以选择多种由知名研究和行业团队创建的推理后端。但是，为特定用例选择最佳后端可能具有挑战性。为了帮助开发者做出明智的决策，我们在 BentoCloud 上，分别使用 vLLM、、MLC-LLM、TensorRT-LLM 和 Hugging Face TGI 搭建了 Llama 3 推理服务，并对推理性能进行了全面的基准测试。
2024-06-14 15:38:39
1009
原创 从数据采集到部署，手把手带你训练一个高质量的图像分类模型
本文来自社区投稿，作者李剑锋MMPreTrain 是一款基于 PyTorch 的开源深度学习预训练工具箱，本文将从数据采集到部署，手把手带大家使用 MMPreTrain 算法库训练一个高质量的图像分类模型。
2024-06-11 17:42:30
1253
3
原创 LMDeploy Windows 平台最佳实践
Windows 是全球范围内最流行的操作系统之一，许多企业和个人用户都在使用 Windows 系统。通过在 Windows 系统上支持 LLM 的推理，许多办公软件、聊天应用等都可以受益于 LLM 的技术，为用户提供更智能、更个性化的服务。LMDeploy 支持在 Windows 平台进行部署与使用，本文会从以下几个部分，介绍如何使用 LMDeploy 部署 internlm2-chat-1_8b 模型。环境配置LMDeploy Chat CLI 工具。
2024-06-05 17:30:05
737
原创 丝滑小连招，部署 Vision Language 模型
LMDeploy 自 v0.4.2 开始，支持 VL 模型 4bit 量化及推理部署。包括：llavainternvlqwen-vlminigeminiyi-vlLMDeploy 项目链接（文末点击阅读原文可直达，觉得好有欢迎点亮小星星）以上模型，除了 InternLM-XComposer2 外均采用 Llama 模型结构作为语言模块，而视觉模块则各有不同。
2024-05-30 20:22:17
771
原创 InternLM2-Math-Plus全面升级，全尺寸最强的开源数学模型
上海人工智能实验室在推出领先的开源数学模型InternLM2-Math的三个月之后对其进行了升级，发布了全新的 InternLM2-Math-Plus。升级后的 InternLM2-Math-Plus 在预训练和微调数据方面进行了全面的优化，显著提高了其在自然语言推理、代码解题以及形式化数学语言上的性能。
2024-05-28 14:22:43
818
原创 LMDeploy高效部署Llama-3-8B，1.8倍vLLM推理效率
Llama 3 近期重磅发布，发布了 8B 和 70B 参数量的模型，LMDeploy 对 Llama 3 部署进行了光速支持，同时对 LMDeploy 推理 Llama 3 进行了测试，在公平比较的条件下推理效率是 vLLM 的 1.8 倍。书生·浦语和机智流社区同学光速投稿了 LMDeploy 高效量化部署 Llama 3，欢迎 Star。本文将分为以下几个部分来介绍，如何使用LMDeploy来部署 Llama3（以 InternStudio 的环境为例）环境、模型准备。
2024-04-26 17:26:59
2162
原创 【全网首发】Llama 3 微调项目实践与教程（XTuner 版）
Llama 3 近期重磅发布，发布了 8B 和 70B 参数量的模型，XTuner 团队对 Llama 3 微调进行了光速支持！！！同时开源社区中涌现了 Llama3-XTuner-CN 手把手教大家使用 XTuner 微调 Llama 3 模型。
2024-04-23 17:27:15
2083
1
原创 Agent-FLAN 技术报告——社区翻译版
Agent-FLAN 技术报告于近日正式对外发布，不少社区大佬自发地参与到报告的翻译与解读中来。本文为社区用户翻译的 Agent-FLAN 技术报告原文，分享给大家~论文地址：https://arxiv.org/abs/2403.12881Agent-FLAN的代码已开源至：（欢迎点亮小星星）https://github.com/InternLM/Agent-FLAN 如果你对 Agent-FLAN 的技术细节感到好奇，或者渴望与其他技术爱好者进行深入的交流和讨论，不要错过本周六晚上 8 点举行的圆会议
2024-04-19 14:57:30
662
原创 千亿参数，百万序列 | XTuner 超长上下文训练方案
尽管开源模型支持的序列长度不断被刷新，但主流的显存优化策略（如 ZeRO 系列）却不足以解决大模型、长序列训练问题。如图 1 所示，使用 ZeRO-3 显存优化策略训练超长序列时，单纯增加 GPU 数量无法解决超长序列带来的 OOM 问题；这是因为，ZeRO-3 只能优化模型参数和优化器状态占用的显存，超长训列训练过程中的显存开销主要来自激活值，而非模型参数和优化器状态。图1 不同序列长度时，使用 ZeRO-3 训练 128k 上下文 yi-34B 模型的训练情况。
2024-04-16 15:44:45
907
1
原创 大模型初探者到登上领奖台，看优秀学员郭一凡如何在实战营走花路！
书生·浦语大模型实战营第二期正在如火如荼地进行中，今天，让我们一起走进首期实战营优秀学员郭一凡的故事，故事主题关乎“成长”。
2024-04-11 15:10:57
950
原创 InternLM2 技术报告——社区翻译版
大型语言模型（LLMs）如ChatGPT和GPT-4的发展引发了关于通用人工智能（AGI）来临的讨论。然而，将这样的进步应用到开源模型中一直颇具挑战。本文介绍InternLM2，一个开源的大语言模型，它在6个维度和30个基准的全面评估中超越了其前身，特别是在长序列建模和开放性主观评估方面，通过创新的预训练和优化技术实现了这一突破。InternLM2详细阐述了预训练过程中各类数据的准备，包括文本、代码和长文本数据。
2024-04-09 16:20:22
1246
原创 轻松玩转书生·浦语大模型趣味 Demo
还没有报名的同学戳此链接报名哟：https://www.wjx.cn/vm/tUX8dEV.aspx?操作文档：https://github.com/InternLM/Tutorial/blob/camp2/helloworld/hello_world.md。书生·浦语大模型角色扮演 SIG 小组长那路带来《轻松书生·浦语大模型趣味 Demo》的实战课程。玩转书生·浦语【智能对话】、【智能体解应用题】、【多模态理解及图文创作】等趣味 Demo。觉得不错，欢迎 Star~
2024-04-01 18:57:03
221
原创 书生·浦语大模型全链路开源体系
由上海人工智能实验室青年科学家陈恺带来《书生·浦语大模型全链路开源体系》课程的分享！https://github.com/InternLM/InternLM/还没有报名的同学戳此链接报名哟：https://www.wjx.cn/vm/tUX8dEV.aspx?书生·浦语大模型全链路开源体系。觉得不错欢迎 Star 哟~
2024-04-01 18:55:41
150
原创 6行代码，1行命令！轻松实现多模态（视觉）模型离线推理 & 在线服务
经过一段时间的迭代，LMDeploy 在 VLM 推理和服务方面，发生了翻天覆地的变化，于 v0.2.6 版本中正式发布。和去年相比，已有云泥之别，可以接受大家的检阅啦。
2024-03-28 17:23:38
895
原创 LLM问答助手茴香豆发布web版，零开发集成飞书&微信群
LLM问答助手茴香豆发布web版，支持自定义知识库、更新正反例、开关搜索，零开发集成微信&飞书群“茴香豆”是一个基于 LLM 的领域知识助手。特点：- 应对群聊这类复杂场景，解答用户问题的同时，不会消息泛滥- 提出一套解答技术问题的算法 pipeline- 部署成本低，只需要 LLM 模型满足 4 个 trait 即可解答大部分用户问题
2024-03-27 15:43:12
963
原创 书生·浦语大模型实战营第二期正式启动，带你从零搭建 RAG、多模态和智能体应用
书生·浦语大模型实战营，助力开发者熟悉大模型研发及应用全链路，迈向人工智能领域的新高峰！快来加入我们，一起探索大模型技术的无限可能吧！期待和你一起组建最强大模型战队！
2024-03-15 14:13:25
781
原创 “百模大战”大模型哪家强？开源的全面评测来了！
最近，一则推送在网上火了：《世界人工智能大会上的大模型都在这了，让你一次看个够》 小编兴奋地点开文章，好家伙，整篇文章没有字，只有满眼的 “大模型”。小编顶着昏花的老眼，手动数了一下，在 WAIC 大会上发布的大模型，至少有 58 个之多。🤦而根据今年的《中国人工智能大模型地图研究报告》，国内现在已经发布了多达 79 个参数 10 亿规模以上的大模型。可谓是百花齐放，各有千秋。在各家对各自模型的宣传中，也都展示了自己模型强悍的一面，让不少围观者不禁为之振奋，直呼牛哇。
2023-09-08 10:54:50
1458
转载 上海AI实验室与商汤科技等发布“书生·浦语”大语言模型
方面，“书生·浦语”在HumanEval和MBPP这两项最具代表性的考评中，分别取得28.1和41.4的得分（其中经过在代码领域的微调后，在HumanEval上的得分可以提升至45.7），明显领先于PaLM-540B（得分为 26.2和36.8）与LLaMA-65B（得分为23.7和37.7）。细分科目结果如下表所示。此外，研究人员还对“书生·浦语”的安全性进行评测，在TruthfulQA（主要评价回答的事实准确性）以及CrowS-Pairs（主要评价回答是否含有偏见）上，“书生·浦语”均达到领先水平。
2023-06-07 19:31:12
574
原创 深度学习刷 SOTA 有哪些 trick？
因此这一方法一般只能放在残差结构中，将网络输出中的一部分样本直接抛弃，再与 shortcut 相加，从而实现部分样本 “跳过” 这一残差结构的效果。Cosine 学习率衰减，在近期的图像分类任务中是最主流的学习率衰减方法。虽然现在的优化器，如 Adam 拥有参数自适应学习率的能力，但通过衰减学习率限制优化器的优化步幅往往仍然是必要的。这是一种组合数据增强手段，相比传统数据增强的随机裁剪、随机翻转，这种方法设置了一个包含各种数据增强变换的集合，并对每个样本随机应用其中若干个增强，大大扩展了增强后的图像空间。
2023-02-13 11:17:34
1265
1
原创 目标检测、实例分割、旋转框样样精通！详解高性能检测算法 RTMDet
通过在模型结构的基本单元引入大 kernel 深度可分离卷积增大感受野，并平衡不同分辨率层级间以及 backbone 和 neck 间的计算量、参数量平衡，改进标签分配以及数据增强策略，RTMDet 不论是在目标检测任务上，还是在实例分割以及旋转目标检测任务上，均取得了优异的性能。我们希望我们探索出的这些改进方案能够对设计实时的目标检测模型有所启发，也希望我们在工程及算法上的优化能够在实际的工业场景中有所应用。
2023-01-13 19:35:39
3651
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人