- 博客(66)
- 收藏
- 关注
RSS订阅原创 利用这些“大模型部署工具”轻松部署属于你自己的AIGC大模型吧！
该工具由Fitten与清华大学联合开发，当前支持4个语言大模型，具体包括：ChatGLM、盘古、ChatRWKV、LLaMA。该工具链支持多种硬件设备，除了支持主流的NVIDIA、AMD、Ascend硬件外，还支持天数智芯、中科海光和摩尔线程的硬件设备！该工具链主要通过动态swap机制和Transformer加速库来加速语言大模型部署。
2024-07-18 10:47:06
279
原创 【微调大模型】如何利用开源大模型，微调出一个自己大模型_大模型训练和微调框架
最近对大模型这部分内容比较感兴趣，作者最早接触大模型是22年下半年的时候。当时觉得非常amazing，并认为这是一个颠覆性的工作，目前随着开源大模型的逐渐变多。我觉得我们得学习并了解这些基础知识，以便后续在工作中可以学习并使用。在深度学习中，微调是一种重要的技术，用于改进预训练模型的性能。除了微调ChatGPT之外，还有许多其他预训练模型可以进行微调。微调所有层：将预训练模型的所有层都参与微调，以适应新的任务。微调顶层：只微调预训练模型的顶层，以适应新的任务。冻结底层。
2024-07-18 10:46:27
812
原创 企业大模型微调项目落地实施中有哪些关键岗位角色？_在业务推进中实际的去熟悉大模型的微调涉及到的
随着人工智能技术的快速发展，大型企业纷纷投入到大型模型（如大语言模型、多模态大模型等）的研发与应用中。大模型因其强大的理解和生成能力，在各个领域都有着广泛的应用前景。然而，要将大模型真正应用于实际场景，为企业带来价值，就需要进行微调项目，这是一个涉及技术研发、数据处理、模型训练与优化等多个环节的复杂过程。企业在实施大模型微调项目时，往往面临着一系列挑战，如技术选型、团队组建、职责分工不明确等问题。
2024-07-18 10:45:52
982
原创 大模型时代程序员应有的正确姿势，如何快速入门大模型_大模型开发学习
这种现象的真实原因仍有待进一步研究，但是现有的部分中文大语言模型其 Tokenizer 部分是存在缺陷的，简单讲，中文历史上存在单字成词的传统，理论上在 Tokenizer 中除了单字和成语，不应该出现常见字的两字组合（鸳鸯、麒麟、凤凰等是特例），更进一步的，如果字出现的频率不高，单字也可以不出现（回退到 OpenAI 的方案）。但是，拥有了堪称强大的自然语言处理工具的现下，我们要解决的现实问题远没有得到解决，这甚至不是结束的开始，充其量只是开始的结束。对于非数学专业和多数工科背景的人这个要求足以劝退。
2024-07-16 10:42:26
383
原创 10条提升大模型任务微调效果的tricks_pe的时候限制模型输出格式的好处
在大型语言模型（LLMs）的研究和应用中，如何通过微调来适应特定任务是一个关键问题。尽管提示工程（PE）在提升LLMs的零样本学习和上下文内学习方面取得了显著成效，但关于如何设计有效的微调样本以进一步提升LLMs性能的研究还相对欠缺。为解决上述问题，提出了，这是一种系统化的方法，旨在通过精细化设计来增强LLMs在特定任务上的表现。
2024-07-16 10:41:56
367
原创 全站首发！2024最新大模型LLM学习路线图来了！_大模型技术路线
ChatGPT的出现在全球掀起了AI大模型的浪潮，2023年可以被称为AI元年，AI大模型以一种野蛮的方式，闯入你我的生活之中。从问答对话到辅助编程，从图画解析到自主创作，AI所展现出来的能力，超出了多数人的预料，让不少人惊呼：“未来是属于AI的”。AI大模型——成为互联网从业者必备技能。
2024-07-16 10:41:11
579
原创 别再被大模型骗了，一个小技巧，让LLaMa3诚信度提升65%
这项研究工作为构建更值得信赖、有益人类的大语言模型探索了一条新路径。随着人工智能触角的不断延伸，诚实可靠的AI助手将成为人们工作和生活中不可或缺的一部分。用户需要AI能开诚布公地认识到自身的局限，同时又能创新性地给出有针对性的协助。当然，塑造一个诚实守信的AI助手并非一蹴而就。譬如，随着大模型应用场景的拓展，我们需要持续更新对诚信AI的要求；在技术层面，还要进一步探索更高效、更精准的优化算法。这需要学界和业界的通力协作。。
2024-07-11 10:49:26
377
原创 【大模型实战案例】手把手教大家微调大模型 Llama 3_llama3模型微调
Llama 3 近期重磅发布，发布了 8B 和 70B 参数量的模型，我们对 Llama 3 进行了微调！！！今天手把手教大家使用 XTuner 微调 Llama 3 模型。
2024-07-11 10:48:48
696
原创 国产AI大模型哪家强？十大维度横评四款主流大模型！_国内ai大模型哪个最好
这部分的最后，我们来看看四款大模型对文本的总结提炼能力。小编从IT之家随机选择了一篇新闻资讯，分别让四款大模型将这篇新闻总结成一句话的摘要。先看文心一言的表现，虽然是总结了，意思也正确，但总结得比较啰嗦，而且不符合“一句话”的要求：通义千问也有类似的问题，总结啰嗦，而且超过一句话的限制：360 智脑在这一项中表现不错，一句话准确总结了这段文章的大意：讯飞星火提炼得也很精炼，一句话搞定，而且意思准确。在这一环节，四款大模型产品的得分分别为：讯飞星火：10 分通义千问：8 分（摘要提炼 - 2）
2024-07-11 10:48:08
561
原创 一文详解大模型微调常用方法_大模型微调数据集怎么标注
最近，深度学习的研究中出现了许多大型预训练模型，例如 GPT-3、ChatGPT、GPT4、ChatGLM-130B 等，这些模型可以在多种自然语言处理任务中取得优异的性能表现。而其中，ChatGPT 模型因为在对话生成方面的表现而备受瞩目，成为了自然语言处理领域的热门研究方向。然而，这些大型预训练模型的训练成本非常高昂，需要庞大的计算资源和大量的数据，一般人难以承受。这也导致了一些研究人员难以重复和验证先前的研究成果。
2024-07-09 15:12:29
542
原创 全球AI 大模型全栈技术研究报告 2024_ai大模型具有强通用性
经过大规模预训练的大模型，能够在各种任务中达到更高的准确性、降低应用的开发门槛、增强模型泛化能力等，是AI 领域的一项重大进步。大模型最早的关注度源于 NLP 领域，随着多模态能力的演进，CV 领域及多模态通用大模型也逐渐成为市场发展主流。政企的极大关注带动了行业领域大模型的高速发展，逐渐形成了多模态基模型为底座的领域大模型和行业大模型共同发展的局面。伴随基于大模型发展的各类应用的爆发，尤其是生成式 AI，为用户提供突破性的创新机会，打破了创造和艺术是人类专属领域的局面。
2024-07-09 15:11:46
923
原创 菜鸟教程：从0开始离线部署私有大模型_离线大模型
大模型的使用必将包含以下三个阶段：1. 直接使用，用于提效2. 使用 API 定制应用程序3. 离线部署+微调，实现私有数据模型化第一个阶段已经完成，作为技术者应该关注第二、三阶段。1. 环境安装和配置我们以清华大学开源的 ChatGLM-6B 语言模型为例。ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署。
2024-07-09 15:10:56
1136
原创 AI大模型变革职场：职场人迎来的双刃剑——惊喜与挑战并存
AI大模型的到来，就像是给职场带来了一场"惊喜派对虽然它带来了一些"惊吓"，但更多的是惊喜和机遇。作为职场人，我们需要拥抱变化，不断提升自己，才能在这个派对中成为最耀眼的明星。记住，AI可以取代我们的工作，但它永远取代不了我们的智慧和幽默。那么，我们该如何学习大模型？作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。至于能学习到多少就看你的学习毅力和能力了。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
2024-07-05 14:33:32
779
原创 Embedding技术：Sentence-BERT句嵌入模型介绍和实践
Sentence-BERT是一种句嵌入表征模型，常用于文本语义相似度的匹配，本篇对Sentence-BERT做理论介绍，并结合领域文本数据进行实践，训练句嵌入实现语义检索。因为这个行业不同于其他行业，知识体系实在是过于庞大，知识更新也非常快。作为一个普通人，无法全部学完，所以我们在提升技术的时候，首先需要明确一个目标，然后制定好完整的计划，同时找到好的学习方法，这样才能更快的提升自己。这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【
2024-07-05 14:32:50
948
原创 2024年AIGC行业研究：多模态大模型与商业应用_
2024年2月，OpenAI发布其首款视频生成模型Sora，用户仅需输入一段文字即可生成长达一分钟场景切换流畅、细节呈现清晰、情感表达准确的高清视频，与一年前的AI生成视频相比，在各维度均实现了质的提升。这一突破再次将AIGC推向大众视野。AIGC即通过大量数据训练而成的人工智能系统，可根据用户的个性化指令生成文本、音频、图像、代码等内容。自2022年频频出圈的ChatGPT推出以来，生成式AI在游戏、影视、出版、金融、数字人等多个应用场景中展现出巨大潜力和价值。
2024-07-05 14:32:15
1666
原创 大模型的高考数学成绩单：及格已经非常好了
让考生头皮发麻的高考数学，可难倒了顶尖 AI 大模型。一年一度的高考即将落幕，衷心希望各位考生都超常发挥，考出满意的好成绩！！和往年一样，除了让 AI 大模型写写高考作文，我们也选取了六家国内头部大模型公司的产品与考生们一同参与一场客观且公平（让众多考生头皮发麻）的高考数学考试（新课标 Ⅰ 卷），其中包括 GPT-4o、GLM-4、文心一言 4.0、豆包、百小应（百川 4）以及通义千问 2.5。
2024-07-04 14:16:35
702
原创 国内 AI大模型产业发展深度分析 2024
文心一言是百度研发的人工智能大语言模型产品，具备跨模态、跨语言的深度语义理解与生成能力，在文学创作、文案创作、搜索问答、多模态生成、数理逻辑推算等众多领域都能为用户提供高质量服务。文心一言拥有四大基础能力：理解能力、生成能力、逻辑能力、记忆能力。（2）大模型优势：2023 年 10 月发布的“文心大模型 4.0”，相比上一代文心大模型，四大能力显著升级，其中逻辑提升幅度是理解的 3 倍，记忆提升幅度是理解的 2 倍。
2024-07-04 14:15:49
1618
原创 AI大模型：解锁未来职业竞争力的金钥匙
从日常的问答对话到复杂的编程辅助，乃至创意图像生成，AI大模型展现出超乎想象的能力，预示着“未来已来”，并成为互联网行业的新宠。大模型，即拥有庞大参数量和复杂度的机器学习模型，广泛应用于自然语言处理（NLP）、计算机视觉（CV）、科学计算和多模态处理等，如Open AI的GPT系列、腾讯的PCAM、华为的盘古气象模型及谷歌的Vision Transformer。即便已有编程经验，转向大模型仍极具价值。既然要系统的学习大模型，那么学习路线是必不可少的，下面的这份路线能帮助你快速梳理知识，形成自己的体系。
2024-07-01 17:00:07
815
原创 深度探索大模型时代的软件架构最佳范式，攻略就绪、就等你来
来自 vivo、知乎、高德地图、Uber 、蚂蚁集团、eBay、货拉拉、快手、哔哩哔哩、携程等企业的技术专家将在 2 天大会中分别分享各自领域对于 AI 大模型的应用探索和进展。此外，其它专题论坛中也不乏行业级的技术应用实践分享，比如宁德核电基于大模型的 AI 讲师开发实践、微众银行大模型助效研发实践、天弘基金的 AI Agent 探索实践、蚂蚁集团支付宝在 AI 与 LowCode 结合方面的探索、平安壹钱包基于大模型在 ToC 应用层面的探索与落地等等，都非常值得关注。机会难得，名额有限。
2024-07-01 16:59:28
1138
原创 聊一聊国内大模型公司面经和感受
这段时间面试了很多家，也学到了超级多东西。楼主这边背景是做基座预训练算法端为主的，对框架端和RL的内容有一定了解（面试能凑合），对于后端的知识比如ML compiler，kernel，cuda相关的了解就比较浅了（问到觉大概率挂）。硬件几乎不太懂。感觉一圈聊下来几点感悟:大模型这方向真的卷，面试时好多新模型，新paper疯狂出，东西出的比我读的快。Research岗位对工程也有要求，工程端也需要了解模型。感觉比较硬核的岗位，尤其初创公司都是对好几个点都有要求的（应用，模型，框架，底层后端，硬件）。
2024-07-01 16:58:54
873
原创 AI大模型-关于推理、可解释性和 LLMs_ai 推理模型
我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。-END-👉AGI大模型学习路线汇总👈大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）
2024-06-28 14:35:03
735
原创 LLM 大模型学习：Agent微调最佳实践_agengt格式下如何保证llm调用工具准确
通过SWIFT支持的Agent训练能力，我们使用ms-agent和ms-bench对qwen-7b-chat模型进行了微调。可以看到微调后模型保留了通用知识问答能力，并在system字段增加了API的情况下可以正确调用并完成任务。训练从LoRA变为全参数训练，知识遗忘问题会更加严重，数据集混合比例需要实际测试调整部分模型可能在训练后仍然调用效果不佳，可以测试该模型本身预训练能力是否扎实Agent训练集格式、语种有细节改变后，对应推理阶段的格式也需要相应调整，否则可能效果不佳重要位置的\n。
2024-06-28 14:32:35
1039
原创 一文读懂！人工智能、机器学习、深度学习的区别与联系！
通俗来说，人工智能就是让计算机像人类一样思考、学习和做出决策。通过利用各种技术（如机器学习、深度学习、专家系统等），人工智能系统可以处理和分析大量数据，自主地学习和优化算法，从而完成各种复杂的任务。人工智能的应用非常广泛，包括但不限于语音识别、图像识别、自然语言处理、智能推荐、智能客服等。具体的，从技术层面来看（如下图），现在所说的人工智能技术基本上就是机器学习（含深度学习）方面的技术。机器学习、深度学习是人工智能的重要组成。机器学习。
2024-06-28 14:31:59
1047
原创 LLM大模型学习：掌握分布式训练与LoRA、LISA微调
上面我们构建了一个最小的训练和推理流程。大多数时候开发者需要自定义一个训练流程和对应的数据集。
2024-06-27 10:32:40
724
原创 10分钟微调专属于自己的大模型_10分钟微调大模型
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
2024-06-27 10:31:55
627
原创 十分钟学会微调大语言模型
有同学给我留言说想知道怎么训练自己的大语言模型，让它更贴合自己的业务场景。完整的大语言模型训练成本比较高昂，不是我们业余玩家能搞的，如果我们只是想在某个业务场景或者垂直的方面加强大模型的能力，可以进行微调训练。本文就来介绍一种大语言模型微调的方法，使用的工具是我最近在用的 Text Generation WebUI，它提供了一个训练LoRA的功能。
2024-06-27 10:31:08
1349
原创 浅谈AI人工智能时代下的产品经理未来之路？
目前，人工智能还是一个学术密集型以及技术密集型的领域，其中最耀眼的角色当属研究人员和工程师。这样的背景下，大量的资讯和材料都指向了工程师受众。那么，对于产品经理来说，如何在这个领域中调整自己的认知和状态，跟上发展的节奏呢？在如今的科技行业中，人工智能的普及已成显著趋势，资本布局初具规模，从业者的梯队也逐渐形成。可以预见的一点是：在接下来相当长的一段时间内，人工智能会渗透到整个互联网行业中，成为业界标配。这种规模的技术变革，很可能会改变游戏规则，从而产生大量的新机会。
2024-06-25 20:38:05
1112
原创 大模型RAG系统开发全纪录：三个月的创业心得与深度思考_rag系统的第一次检索时间
自从和员外上家公司离职后，我们就自己搞公司投入到了RAG大模型的AI产品应用的开发中，这中间有一个春节，前后的总时间大概是三个月左右，在这三个月期间，基本是昼夜兼程啊，到今天3月底结束，产品目前看是有了一个基础的雏形。在这期间，员外负责整个产品的营销、商业客户的洽谈等方面的内容，我和阿包负责整体的技术架构搭建，代码从0-1的编写，我们是在24年1月26，产品初步上线了一个版本，开始接受企业客户的试用，这让我们接受到了大量的需求，以及我们产品在目前的市场环境中还存在哪些竞争力不足需要改进的地方。
2024-06-25 20:37:32
1250
原创 2024年AIGC行业研究：多模态大模型与商业应用_
2024年2月，OpenAI发布其首款视频生成模型Sora，用户仅需输入一段文字即可生成长达一分钟场景切换流畅、细节呈现清晰、情感表达准确的高清视频，与一年前的AI生成视频相比，在各维度均实现了质的提升。这一突破再次将AIGC推向大众视野。AIGC即通过大量数据训练而成的人工智能系统，可根据用户的个性化指令生成文本、音频、图像、代码等内容。自2022年频频出圈的ChatGPT推出以来，生成式AI在游戏、影视、出版、金融、数字人等多个应用场景中展现出巨大潜力和价值。
2024-06-25 20:37:01
880
原创 一口气了解大模型相关通识，基础笔记！_大模型数据
，特指部分参数的微调方法，这种方法算力功耗比更高，也是目前最为常见的微调方法;除此之外，Fine-Tuning也可以代指全部微调方法，同时OpenAI中模型微调API的名称也是需要注意的是，OpenAI提供的在线微调方法也是一种高效微调方法，并不Fine-Tuning,是全量微调;微调， Fine-Tuning，一般指全参数的微调 (全量微调) ，指是一类较早诞生的微调方法，全参数微调需要消耗大量的算力，实际使用起来并不方便，因此不久之后又诞生了只围绕部分参数进行微调的高效微调方法;
2024-06-24 14:32:41
322
原创 大模型LLM微调技术进展与热门方法汇总
是机器学习中的一项重要技术，旨在帮助我们降低成本，进一步提高模型的性能。具体来说，大模型微调指的是在现有预训练模型的基础上，根据特定任务数据进行微调，以适应任务的特定需求，以便我们更好地解决各种实际问题。目前较为流行的大模型微调技术是(Parameter-Efficient Fine Tuning)，只对部分的参数进行训练，主要有等方法。
2024-06-24 14:31:50
497
原创 在小公司可以做大模型吗？心得经验分享_第一份工作在小公司做大模型好吗
继ChatGPT发布以来，各种大模型相继问世。近日Sora也突然走入大众的视野。那么做模型是否只有OpenAI这种巨头公司才能做呢，答案是否定的。在小公司做大模型，是可以的。本文作者结合切身经历，回答了如何在小公司做大模型。在小公司做大模型，这个事情是可以的。笔者在小公司，做了一年多的大模型。先列一下成绩单：开源了目前业界可能是分类较完整（50类）、数量较大（1100+万）的SFT数据集：匠数科技大模型sft数据集[1]通过SFT、DPO、RLHF等技术训练了领域写作模型。
2024-06-21 10:51:27
1335
原创 用大语言模型来提升产品经理的技能
重点讲述最小可行产品（Minimum Viable Product，MVP）的故事，详细介绍优先推出的关键功能。考虑可扩展性和用户采用率，为成功推向市场指明方向。设想一小群用户急切地试用您的应用程序的基本功能。他们的反馈将成为故事的关键部分，帮助您将应用程序塑造成真正满足他们需求的产品。提示：“概述首次发布的最小可行产品（MVP）。确定优先考虑的关键特性和功能，以便快速实现价值。考虑可扩展性和用户采用率”。
2024-06-21 10:50:38
859
原创 # LLM高效微调详解-从Adpter、PrefixTuning到LoRA_llm高效微调技术
目前NLP主流范式是在大量通用数据上进行预训练语言模型训练，然后再针对特定下游任务进行微调，达到领域适应（迁移学习）的目的。指令微调是预训练语言模型微调的主流范式，其目的是尽量让下游任务的形式尽量接近预训练任务。从而减少下游任务和预训练任务之间的Gap, 实现预训练语言模型适应下游任务，而非下游任务去适应模型指令微调的效果要优于基于Zero/Few-shot的提示词工程的上下文学习。但随着预训练语言模型进入LLM时代，其参数量愈发庞大。全量微调模型所有参数所需的显存早已水涨船高。
2024-06-21 10:49:52
982
原创 深度解读爆火国产大模型Kimi（附教程，建议收藏！）_学习kimi
北京月之暗面科技有限公司（Moonshot AI）成立于2023年4月17日，短短不到1年时间，就做出了这样现象级的产品——可对外商用的Kimi智能助手，令人叹为观止。所以凭什么是月之暗面？
2024-06-20 10:53:44
1064
原创 5个好用的中文AI大语言模型_中文大语言模型
AI大语言模型（Large Language Models, LLMs）是近1-2年来人工智能领域的重要发展，它们通过深度学习技术，特别是基于Transformer的架构（如GPT、BERT等），实现了对自然语言处理的巨大突破。AI大语言模型的主要功能和作用有：文本生成、创意写作、对话生成、问答系统、文本翻译、代码生成、代码解释、文档生成、辅助写作、辅助设计等。1.讯飞星火大模型-AI大语言模型-星火大模型-科大讯飞讯飞星火认知大模型是科大讯飞发布的大模型。
2024-06-20 10:51:49
391
原创 深度探索大模型时代的软件架构最佳范式，攻略就绪、就等你来
来自 vivo、知乎、高德地图、Uber 、蚂蚁集团、eBay、货拉拉、快手、哔哩哔哩、携程等企业的技术专家将在 2 天大会中分别分享各自领域对于 AI 大模型的应用探索和进展。此外，其它专题论坛中也不乏行业级的技术应用实践分享，比如宁德核电基于大模型的 AI 讲师开发实践、微众银行大模型助效研发实践、天弘基金的 AI Agent 探索实践、蚂蚁集团支付宝在 AI 与 LowCode 结合方面的探索、平安壹钱包基于大模型在 ToC 应用层面的探索与落地等等，都非常值得关注。机会难得，名额有限。
2024-06-19 14:17:26
1003
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人