- 博客(203)
- 收藏
- 关注
RSS订阅原创 ChatGLM-4-9b-chat本地化｜天翼云GPU上vLLM本地部署开源模型完整攻略
“拥有一个私有化的领先国产开源大模型？本文详细介绍了如何在天翼云GPU上使用vLLM部署ChatGLM-4-9b-chat本地化模型的完整攻略，助您快速上手。”01—vLLM本来打算用ollama在GPU服务器上部署开源模型GLM4，在之前文章有部署教程：《普通电脑也能跑大模型，三步搞定私人AI助手 | LLaMA-3本地部署小白攻略》。后来朋友推荐使用vLLM部署服务来运行GLM4。vLLM是...
2024-08-15 18:42:33
1247
转载 在 RAGFlow 中实践 GraphRAG
RAGFlow 0.9 版本发布，正式引入了对 GraphRAG 的支持。GraphRAG 由微软近期开源【参考文献1】，被称作下一代 RAG，并且在更早时间发表了相关论文【参考文献2】。关于下一代 RAG，在 RAGFlow 体系的定义更加完整，就是如下图所示的 RAG 2.0， 这是一个以搜索为中心的端到端的优化系统，分为 4 个阶段，除了后边 2 个阶段——索引与检索，这个大部分是需要一个专...
2024-08-07 11:45:57
76
转载 大模型微调到底有没有技术含量？
今天给大家带来知乎好友@ybq的一篇回答-大模型微调到底有没有技术含量，或者说技术含量到底有多大？知乎：https://www.zhihu.com/question/599396505/answer/3583853852老生常谈的一句话吧：有没有技术含量取决于这个工作你怎么做，尤其是 llm 方向，上手门槛相比传统 NLP 变得更低了。我举一些例子吧，针对大模型微调的几个重要环节，我列举的每一种做...
2024-08-06 18:35:55
37
转载 ToolBench指标提升8.25%！魔搭社区让Qwen2 成为你的智能体好帮手
01导言随着Qwen2的发布，魔搭社区在第一时间上线了Qwen2全系列模型。我们注意到，Qwen2模型在通用能力上已经非常强悍，然而有时候用户需要使用模型在自己的私有场景上搭建起智能体调用流程，这时就有可能遇到对于特定场景调用不良的情况，在这种情况下，用户对于Qwen2模型进行二次训练并提升智能体精度是非常有必要的。在我们的实验中，我们使用我们特有的数据集MSAgent-Pro对Qwen2进行了s...
2024-07-29 09:46:18
72
转载 Llama 3.1论文精读：为什么模型参数是4050亿？
Ellamind联合创始人、CEO Jan P. Harries解读了Llama 3.1论文有趣的看点。在此基础上，结合原论文，整理看点如下：1. 模型参数为什么是405B？2. 训练基础设施——H100集群的详细介绍3. 大规模GPU集群训练中断了466次，报销了148台机器4. 预训练数据的调整5.后训练6.数据质量评分7.训练专家生成合成语言数据8.如何提高数学与推理能力？9. 长文本如...
2024-07-25 18:40:58
261
原创 普通电脑也能跑大模型，三步搞定私人AI助手 | LLaMA-3本地部署小白攻略
“在你的电脑上运行一个强大的AI助手，它不仅能力超群，还把所有秘密都藏在你的硬盘里。好奇这是如何实现的吗？动动手，三分钟就可以完成LLaMA-3的本地部署！”01—LLaMA-3最近在试验检索增强生成（RAG）的项目，想试试换一个强点的模型试试看效果是否有改观，动手试了一下本地搭建一个私有大模型作为基模型，这次试试LLama3，下次搭阿里通义千问的Qwen2模型。早在4月份，Meta开源...
2024-07-18 18:33:02
961
转载 WAIC 首日集锦丨AI 春晚， 大佬都说了啥？
全中国的 AI 产业，都在这里讨论如何摘取大模型的果实。作者 | 宛辰、诗韵编辑| 郑玄上海近 40 度的高温，并没有阻止人们参会的热情——相反，7 月 4 日于上海举办的 2024 年世界人工智能大会暨人工智能全球治理高级别会议，比去年更为火爆了。上午的会场短暂对外关闭了一段时间，但正式开放后，在笔者参加的几个论坛现场，几乎都座无虚席、不少观众都站着听演讲。「就是一个火爆。」一位现场工作人员说...
2024-07-09 08:30:40
70
转载 Agent Hospital | 对话数据合成：清华利用多Agent合成大量医疗对话数据显著提升LLM在医疗场景效果...
大家好，我是HxShine今天分享一篇来自清华的一篇利用Agent合成数据的文章，标题为《Agent Hospital: A Simulacrum of Hospital with Evolvable Medical Agents》。这篇文章介绍了一种名为Agent Hospital的仿医院模拟系统，该系统中患者、护士和医生都是由LLM驱动。文章的核心目标是使医生Agent能够在模拟环境中学习如何...
2024-07-03 18:40:16
231
转载 Vector | Graph：蚂蚁首个开源Graph RAG框架设计解读
点击蓝字，关注我们检索增强生成（RAG：Retrieval Augmented Generation）技术旨在把信息检索与大模型结合，以缓解大模型推理“幻觉”的问题。近来关于RAG的研究如火如荼，支持RAG的开源框架也层出不穷，并孕育了大量专业领域的AI工程应用。我们设计了一个通用的开源RAG框架，以兼容未来多样化的基础研究建设和工程化应用诉求。01概述 RAG的目标是通过知识库增强内容生成的...
2024-06-27 18:47:01
256
转载 Mamba-2新架构出世一统江湖！普林斯顿CMU华人再出神作，性能狂飙8倍
新智元报道编辑：编辑部【新智元导读】在开源社区引起「海啸」的Mamba架构，再次卷土重来！这次，Mamba-2顺利拿下ICML。通过统一SSM和注意力机制，Transformer和SSM直接成了「一家亲」，Mamba-2这是要一统江湖了？年前，Mamba被顶会ICLR拒稿的消息曾引起轩然大波。甚至有研究人员表示：如果这种工作都被拒了，那我们这些「小丑」要怎么办？这次，新一代的Mamba-2...
2024-06-04 18:08:28
492
转载 AI搜索选哪个？18家AI搜索产品横向测评
引言距离《AI 搜索，一次讲透》文章发布已经快一个月了，AI 搜索赛道依然火热，各款产品都在努力优化，还有几款新产品推出。时间到了6月，非常好奇各款产品表现如何，今天就都拉过来测一测。刚把第一个Query测完，就发现了很多产品的严重问题，结合后续的几轮测试，已经足以得出一些值得参考的结论。受限于篇幅和时间，本文将完整记录第一轮的AI搜索测试，并结合后续几轮的测试，给出一些个人的体感结论。希望能帮助...
2024-06-03 11:55:08
652
转载 深度学习之父 Hinton 万字访谈录：中美 AI 竞赛没有退路可言（GPT-4o总结版）
视频链接：https://www.youtube.com/watch?v=tP-4njhyGvo&t=660s访谈介绍：Joel Hellermark 与 AI 教父 Geoffery Hinton 的深度对话Geoffery Hinton近日，27 岁的天才创始人 Joel Hellermark 与 “AI 教父” Geoffery Hinton 进行了一场深入对话。在这次访谈中，Hin...
2024-05-28 11:46:44
110
原创 2024福州数字中国AI前沿：从大会现场观察大模型应用趋势
“2024年数字中国大会提供了一个难得的窗口，观察大模型技术在产业智能化进程中的发展动向和落地实践。”01—概述2024福州数字中国大会以数字建设为主题，通过通讯、算力、系统集成、应用和客户实践等逐层递进的展出方式，全面展示了我国数字建设的蓬勃发展情况。大会汇聚了国内主要的数字建设力量，既有互联网巨头腾讯、阿里等，也有诸多国有企业、代理商、政府机构和银行金融机构等传统行业（均为国企）参与者。...
2024-05-27 18:17:14
874
转载 腾讯大模型最新发布：主打一个实用
今天，腾讯召开了一个和大模型有关的会——腾讯云生成式AI产业应用峰会。内容很多，也很硬核，怕你们「太长不看」（看到最后有福利！），先总结一下重点：说到大模型，很多人已经很熟悉，也渐渐习惯性地认为：它就是一个聊天机器人。今天这场峰会，破除了这个刻板印象。大模型不止可以跟你「通用性」地对话，也可以是微信读书的「AI问书」，随时给你讲解难点。也可以是腾讯会议的「AI小助手」，随时给你总结会议重点。未来，...
2024-05-18 10:37:25
47
转载 我们也终于有了自己的开源AI绘图大模型，它叫，腾讯混元。
坦率的讲，一直以来，我都很希望在AI绘图领域，有一个我们自己的开源的AI绘图大模型标杆的。只属于我们国内的、中文驱动的AI绘图开源大模型。然后我们如此蓬勃的创作者和开发者，就像现在的Stable Diffusion一样，在这个基础上，缔造出繁荣的开源生态。但是AI绘图大模型，好像一直是一个魔咒。国内大模型出了无数，也出了无数的开源，但是国内的AI绘图大模型，却不足十不足一，更别提开源的了。不过外面...
2024-05-18 10:37:25
61
转载 GPT-4o登顶中文推理基准，总分81.73，刷新数学和代码最好成绩
本测评结果仅用于学术研究。5月14日凌晨，OpenAI召开春季发布会，发布新版本模型GPT-4o。它具备实时多模态人机交互能力，打通了文本、语音和视觉，语音延迟大幅降低。GPT-4o的API速度比GPT-4 Turbo快2倍，价格便宜50%，并且官方说明GPT-4o在多项复杂任务上效果都超过GPT-4Turbo。针对公众关注的GPT-4o的中文性能问题，作为专业第三方测评机构SuperCLUE选取...
2024-05-15 13:04:04
85
转载 OpenAI春季发布会：这是"Moss"的诞生，我们人类究竟该何去何从。
今天，OpenAI又又又又开发布会了。在大众心里，现在也基本上都知道，奥特曼是一个贼能PR的人。每一次的PR的时间点，都拿捏的极其到位，精准的狙击其他厂商。比如说上一次Sora，其实你会发现从头到尾就是一个PR的举动，2月16号发的，特么的快3个月了，什么影子都没有。而这一次，OpenAI把发布会从9号改到了今天，也不知道哪个倒霉蛋造到狙击了，反正我只知道，明天Google要开开发者大会。。就差怼...
2024-05-14 17:26:20
28
转载 6000字超详细复盘！《AI你·南京》AIGC城市宣传MV全流程制作解析
在五一节前，我们联合中国江苏网运用AIGC技术制作了一条南京的城市宣传片——《AI你，南京》。这条MV播出后反响不错，视频号上的点赞评论很热烈，在抖音上的南京榜也一度排到热门第四。我这个公众号写AIGC的内容也有一年多了，累计原创文章一百多篇，在这个不断学习与探究的过程当中，我对AI的认识也从最初的好奇到震惊，然后到逐渐平静。虽然现在每天还是会被各种新出现的技术所冲击，但是会越来越多的去思考AI...
2024-05-07 08:50:57
338
转载 中文大模型基准测评2024年4月报告
SuperCLUE团队2024/04背景自2023年以来，AI大模型在全球范围内掀起了有史以来规模最大的人工智能浪潮。进入2024年4月，全球大模型竞争态势并未衰减，随着Claude3、Gemini1.5和Llama3的发布，更是推动国内外大模型领域进入到更为激进的大模型发展新常态。中文大模型测评基准SuperCLUE持续对国内外大模型的发展趋势和综合效果进行了实时跟踪。基于此，我们发布了《中文大...
2024-04-30 09:29:27
2768
转载 生成式AI产业经济学：价值分配与利润结构
处在生成式人工智能（GenAI）技术变革的浪潮上，人们对这一将降低成本和产生利润的强大工具充满了期待。然而，ChatGPT爆火一年后，GenAI产业还没有形成像当前云服务产业那样的价值结构，后者的上层应用占据价值链中的大部分比例，并获取了大部分利润，基础设施软件层的利润次之，而硬件层分到的“蛋糕”最少。与之相反，在GenAI领域，硬件层却占据了近90%的利润率。蓦然回首，大家发现，整个产业链基本都...
2024-04-29 08:50:12
36
转载 【独家】万字长文带你梳理Llama开源家族：从Llama-1到Llama-3
Datawhale干货作者：张帆，陈安东，Datawhale成员引言在AI领域，大模型的发展正以前所未有的速度推进技术的边界。北京时间4月19日凌晨，Meta在官网上官宣了Llama-3，作为继Llama-1、Llama-2和Code-Llama之后的第三代模型，Llama-3在多个基准测试中实现了全面领先，性能优于业界同类最先进的模型。纵观Llama系列模型，从版本1到3，展示了大规模预训练...
2024-04-22 10:21:06
113
转载 多agent思想显著提升小模型工具调用能力
大家好，我是HxShine今天分享一篇阿里的利用Agent思想做工具调用的文章，标题为《Small LLMs Are Weak Tool Learners: A Multi-LLM Agent》。其提出的多LLM代理微调框架，将工具调用拆解为三个agent（Planner、Caller、Summarizer），并结合一个二阶段的微调策略。对比单个LLM表现更为出色，性能也更为稳定，并且能够超过像C...
2024-04-18 12:17:58
227
转载 中文RAG检索增强生成榜单出炉！仅有一家刚刚及格
随着人工智能技术的快速发展，大型语言模型在处理复杂、开放领域的问题时，常常面临知识获取和更新的挑战。它们所依赖的训练数据可能有限且过时，无法覆盖所有领域的知识，导致生成的内容缺乏准确性和时效性。同时，在现实世界的应用场景中，用户期望获得最新、最准确的信息。正是在这样的背景下，RAG（检索增强生成）技术结合了检索和生成两种方法的优势应运而生。RAG通过利用外部知识库中的信息，为语言模型提供了更全面、...
2024-04-15 19:34:24
865
转载 重回第一！OpenAI升级GPT-4-Turbo到2024-04-09版本，推理和数学能力大幅提高，基准测试最高提升近20%！...
本文原文来自DataLearnerAI官方网站：https://www.datalearner.com/blog/1051712888127681OpenAI的GPT-4一直是全球最强的大语言模型。但是在最近的一系列新模型对比中，已经有一些模型在某些领域被认为已经接近或者超过GPT-4了。而在前几天，OpenAI更新了一个新版本的GPT-4，是GPT-4-Turbo-2024-04-09，官方说该...
2024-04-12 18:44:45
475
转载 RAG系统中答案无关的片段对LLMs生成结果有何影响？
写在前面大家好，我是刘聪NLP。RAG（检索增强生成）通过检索系统找到用户问题相关的信息片段，利用大模型综合生成一个答案，极大解决了大模型幻觉、信息更新不及时等问题，已经成为了大模型落地的重要手段。但在检索过程中，往往会检索到与问题极度相似、但又不包含答案或包含干扰答案的片段，这些答案无关片段对大模型生成答案有何影响呢？今天正好刷到一篇相关文章，带给大家《How Easily do Irrelev...
2024-04-10 23:13:55
54
转载 RAG（检索增强生成）技术全貌，4W字干货：从原理论文到开源项目实战
心法利器本栏目主要和大家一起讨论近期自己学习的心得和体会。具体介绍：仓颉专项：飞机大炮我都会，利器心法我还有。2023年新的文章合集已经发布，获取方式看这里：又添十万字-CS的陋室2023年文章合集来袭，更有历史文章合集，欢迎下载。往期回顾心法利器[106] 基础RAG-调优方案心法利器[107] onnx和tensorRT的bert加速方案记录心法利器[108] | 微调与RAG的优缺点分析心...
2024-03-26 23:22:19
435
转载 大模型未来发展：RAG vs 长文本，谁更胜一筹？｜Z 沙龙第 8 期
「Z计划」是智谱 AI面向未上市初创企业与优秀独立开发者/团队，提供 Tokens赞助、投资支持和技术支持等资源的创新加速计划。面向全球，持续招募中！（点击报名）「Z沙龙」是支持该计划的面向大模型领域的线下活动品牌。为鼓励自由发言，人人发言，我们暂时不披露参与者个人信息。本文不代表智谱公司认同文中任何观点。编者按：当前，AIGC的迭代速度正以指数级的速度增长。2024年2月，谷歌发布的...
2024-03-25 12:25:22
676
转载 开源版“Devin”AI程序员炸场：自己分析股票、做报表、建模型
GitHub三万Star项目MetaGPT上新，号称是“开源Devin”——推出数据解释器（Data Interpreter），能够应对数据实时变化、任务之间复杂的依赖关系、流程优化需求以及执行结果反馈的逻辑一致性等挑战。话不多说，直接看演示。可以从英伟达股价数据中分析收盘价格趋势：分析数据预测葡萄酒质量：自动抠图删除图片背景：还能针对糖尿病、心脏病等疾病，通过数据分析预测病情进展：针对水泵传感器...
2024-03-15 21:16:30
93
转载 全球首个AI程序员诞生，码农饭碗一夜被砸！10块IOI金牌华人团队震撼打造，996写代码训练模型...
新智元报道编辑：编辑部【新智元导读】全球首位AI软件工程师Devin诞生了，它掌握全栈技能，云端部署、底层代码、改bug、训练和微调AI模型都不在话下。最可怕的是，它完全不怕996，老黄的预言是彻底成真了！就在刚刚，世界上第一位AI程序员Devin诞生。一家叫Cognition的10人初创公司，才成立不到2个月，就给了全世界亿点点震撼。刚一放出，Devin就刷爆了全网。它掌握了全栈技能，能...
2024-03-13 12:15:15
113
转载 Sora物理悖谬的几何解释
龙年伊始，Sora横空出世，举世震惊。Sora声称“作为世界模拟的视频生成模型”，豪气干云。有人悲观预言很多传统领域可能被颠覆，其中最为岌岌可危的可能是计算机图形学，短视频和影视娱乐行业。依随OpenAI透露出更多技术细节，很多Sora生成的物理悖谬的视频流传于网络。这里笔者依据现代数学特别是整体微分几何领域的一些观点来解释目前Sora技术路线中的缺陷，希望能够抛砖引玉，为广大AI研究和工程人员拓...
2024-02-26 11:50:02
71
转载 龙年暴富 ｜ 与众不同的微信红包
小年那天，给朋友们送了一个用AI工具设计的可爱龙年微信红包，朋友们很喜欢。今天继续给朋友们送上两款红包封面，其中一款来自花仙子朋友手绘版的潦草龙。祝愿大家：龙年行大运，财运暴富，身材暴瘦，运势暴发，阖家幸福安康！点击下方卡片，即可领取白金龙潦草龙可爱龙看了心动，想自己亲手做一个红包封面的，可以看这篇贴心教程：《保姆级教程｜如何制作自己的微...
2024-02-05 21:26:20
120
原创 保姆级教程｜如何制作自己的微信红包封面
“一只蠢萌的龙宝宝”01—昨天给朋友们送了一张用AI制作的可爱型的龙年红包封面，有朋友问，怎么能制作自己的红包封面。一开始我习惯思维：“你有公众号吗？没有就不能做”。后来一想，公众号只是可以送给朋友红包封面，如果没有公众号的朋友想做作一个自己独有的红包封面，用在自己发红包的场景，需要满足微信的最低标准，文章第4部分有需要满足的条件。自己做红包封面大体有...
2024-02-03 12:06:18
1358
转载 小年好！送你龙年限定红包封面
甲辰龙年 小年快乐—朋友们，新年已至，送上我亲手用AI设计的可爱龙年限定红包封面！这只拟人化的小龙，眼神充满喜庆。愿新的一年，我们共同腾飞，事业蒸蒸日上，幸福滚滚而来。新年好运，与你同享！????✨点击下方卡片，即可领取没领到的朋友也不要遗憾，后续还有一波红包封面，正在设计制作中。...
2024-02-02 22:27:24
100
转载 四大巨头的AI绘图模型综合评测 - 写在Meta Imagine上线后
都知道AI卷，卷大语言模型，卷多模态，卷视频，反正啥玩意都都卷。AI绘图作为跟大语言模型并驾齐驱的最成熟的模态之一。那更是卷到飞起。前几天，Meta这个搅屎棍，正式公开上线了他们的AI绘图模型，叫Meta Imagine，就是这个玩意。网址：https://imagine.meta.com/ （对魔法要求比较高，找个美国的干净的节点）最关键的是吧，他免费。你说他是不是搅屎棍。。。但是Meta确实也...
2024-01-12 12:26:49
102
转载 深入探讨GPTs和AI Assistant
作者：donxGPTs全景解析GPTs 是什么GPTs 是 OpenAI 在2023年11月发布的新版本，具有可定制性和完成特定任务的强大功能。它提供了一种新的方式来使用ChatGPT，可以让用户根据自己的需求定制化，并与其他用户共享。以下是OpenAI 对它的能力介绍。You can now create custom versions of ChatGPT that combine instr...
2024-01-02 19:30:34
416
转载 大模型微调技巧 | 高质量指令数据筛选方法-MoDS
写在前面大家好，我是刘聪NLP。大模型时代，指令微调已经成了算法工程师们必不可少的技能。而在指令微调过程中，我们往往会从数据数量和数据质量两个维度来对模型进行调优。之前写过一篇《从大量可用数据集中自动识别高质量数据》的文章，今天给大家带来一个新的方法-MoDS，一种面向模型的指令数据选择方法-《MoDS: Model-oriented Data Selection for Instruction ...
2023-12-15 19:15:23
951
转载 开源的大模型预训练语料汇总
写在前面大家好，我是刘聪NLP。本文汇总了当前包括中英文开源的大规模预训练数据集，来自知乎@nghuyong。目前的核心观点是: 「大规模高质量的网络数据 is All you Need」，无需手工精心调配各种数据源，例如百科，书籍，代码等。知乎：https://zhuanlan.zhihu.com/p/668021844PilePile是EleutherAI发布的一个英文的预训练语料。涵盖了22...
2023-12-01 20:12:49
1017
转载 导致Sam离职风波背后的OpenAI最近的技术突破——Q*项目信息汇总
上周五，OpenAI董事会突然把Sam开除的事件已经结束，闹了好几天之后Sam回归，董事会改组。而这件事的背后导火索有许多传闻，其中最重要的一个是OpenAI可能在最近有一项重大的技术突破，被认为是Sam和董事会分歧的重要原因。而今天，国外的路透社独家消息提到OpenAI内部一个称为Q*（Q Star）项目取得了非常重大的突破，使得部分人认为AGI很接近，进而引发了一系列事件。本文将根据目前的信息...
2023-11-24 19:03:29
130
转载 Altman王者归来！强势要求解散董事会，OpenAI终极宫斗一触即发
新智元报道编辑：编辑部【新智元导读】董事会打脸了！Altman众望所归上演王者归来，戴着访客证出现在OpenAI总部，并且强势要求董事会解散。CEO的复仇之路反转再反转，双方目前仍在对峙。从被扫地出门到王者回归，乔布斯用了12年，而Sam Altman，仅仅用了两天。现在，Altman已经以胜利者的姿态重返OpenAI探讨自己的去留问题，并且对董事会提出了新的要求——「更换现有的董事会成员...
2023-11-20 12:48:59
89
转载 怎样让 PPO 训练更稳定？早期人类征服 RLHF 的驯化经验
写在前面大家好，我叫刘聪NLP。今天给大家带来一篇“如何稳定且有效地训练 PPO”的论文解读，来自知乎@何枝（已授权）。在这篇文章中我们将学习：哪些技巧能够稳定训练过程、哪些指标能够代表着训练的顺利进行等内容。作为 Reinforcement Learning 中的顶流算法，PPO 已经统领这个领域多年。直到InstructGPT的爆火，PPO 开始进军 LLM 领域，凭借其 label-free...
2023-11-14 19:47:01
887
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人