- 博客(33)
- 收藏
- 关注
RSS订阅原创 Embedding技术：Sentence-BERT句嵌入模型介绍和实践
Sentence-BERT是一种句嵌入表征模型，常用于文本语义相似度的匹配，本篇对Sentence-BERT做理论介绍，并结合领域文本数据进行实践，训练句嵌入实现语义检索。因为这个行业不同于其他行业，知识体系实在是过于庞大，知识更新也非常快。作为一个普通人，无法全部学完，所以我们在提升技术的时候，首先需要明确一个目标，然后制定好完整的计划，同时找到好的学习方法，这样才能更快的提升自己。这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【
2024-07-18 10:52:56
1299
原创 小白也能看懂的AI大模型学习路线（附：全套学习资源
AI大模型，即大规模预训练模型，是指拥有数亿乃至数百亿参数的深度学习模型，如BERT、GPT-3等。这些模型通过在互联网规模的数据集上进行自我学习，能捕捉到语言、图像、声音等多模态数据的复杂特征，展现出了强大的语言理解、图像识别、创造性生成等能力。它们的创新之处在于跨任务的泛化能力和通过少量示例即可适应新任务的微调能力。
2024-07-18 10:51:58
236
原创 AI大模型-关于推理、可解释性和 LLMs_ai 推理模型
我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。-END-👉AGI大模型学习路线汇总👈大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）
2024-07-18 10:51:17
262
原创 转型AI产品经理，原来不需要学那么深的算法和数学模型
小白AI之路”第一篇文章已经快到尾声了，如果你坚持看到了这里，那大概率你对AI的理解和认知已经击败了你朋友圈里90%经常分享AI将改变世界取代人类的好友们。接下来我们的目标是从剩下的10%里往上爬，我也希望能够通过更有趣、更直观、更少数学的方式跟大家分享和学习AI相关知识。当然我也还是一个AI世界的小学生，也还在努力地学习和奔跑。如果大家觉得还算有那么一丢丢的收获并且身边也有朋友在关注和学习AI的话，请随肆无忌惮随意分享哈！
2024-07-16 10:37:28
411
原创 用上AI教育大模型，孩子再也不用担心我高血压了 AI百业共生
不写作业“母慈子孝”，一写作业“鸡飞狗跳”。但凡家里有个孩子，辅导作业基本都是一场灾难，有不少家长自嘲到，在公司面对千万kpi风平浪静，一回家看到小祖宗立刻血压飙高。大吼大叫已经基本操作了，更有家长为了“逃避”辅导直接要求交警拘留。21年江苏一位爸爸躺在马路中间求交警拘留他，交警好奇上前询问，结果原因令人哭笑不得，男子因为他女儿把“800减700算成900”导致奔溃，寻求拘留所这一方净土。交警想到自家孩子表示：你想得美。你以为就普通家庭这样？
2024-07-16 10:36:51
687
原创 【大模型LLM书籍推荐】从零开始大模型开发与微调：基于PyTorch与ChatGLM_llm大模型 入门 书籍
大模型是深度学习自然语言处理皇+冠上的一颗明珠，也是当前AI和NLP研究与产业中最重要的方向之一。本书使用PyTorch 2.0作为学习大模型的基本框架，以ChatGLM为例详细讲解大模型的基本理论、算法、程序实现、应用实战以及微调技术，为读者揭示大模型开发技术。😝有需要此本<>的小伙伴，可以点击下方链接免费领取或者V扫描下方二维码免费领取🆓。
2024-07-16 10:36:11
634
原创 利用这些“大模型部署工具”轻松部署属于你自己的AIGC大模型吧！
该工具由Fitten与清华大学联合开发，当前支持4个语言大模型，具体包括：ChatGLM、盘古、ChatRWKV、LLaMA。该工具链支持多种硬件设备，除了支持主流的NVIDIA、AMD、Ascend硬件外，还支持天数智芯、中科海光和摩尔线程的硬件设备！该工具链主要通过动态swap机制和Transformer加速库来加速语言大模型部署。
2024-07-11 10:43:50
396
原创 一文详解大模型微调常用方法_大模型微调数据集怎么标注
最近，深度学习的研究中出现了许多大型预训练模型，例如 GPT-3、ChatGPT、GPT4、ChatGLM-130B 等，这些模型可以在多种自然语言处理任务中取得优异的性能表现。而其中，ChatGPT 模型因为在对话生成方面的表现而备受瞩目，成为了自然语言处理领域的热门研究方向。然而，这些大型预训练模型的训练成本非常高昂，需要庞大的计算资源和大量的数据，一般人难以承受。这也导致了一些研究人员难以重复和验证先前的研究成果。
2024-07-11 10:43:17
783
原创 【微调大模型】如何利用开源大模型，微调出一个自己大模型_大模型训练和微调框架
最近对大模型这部分内容比较感兴趣，作者最早接触大模型是22年下半年的时候。当时觉得非常amazing，并认为这是一个颠覆性的工作，目前随着开源大模型的逐渐变多。我觉得我们得学习并了解这些基础知识，以便后续在工作中可以学习并使用。在深度学习中，微调是一种重要的技术，用于改进预训练模型的性能。除了微调ChatGPT之外，还有许多其他预训练模型可以进行微调。微调所有层：将预训练模型的所有层都参与微调，以适应新的任务。微调顶层：只微调预训练模型的顶层，以适应新的任务。冻结底层。
2024-07-11 10:42:42
307
原创 私有化部署 Llama3 大模型, 支持 API 访问_ollama 利用api 接口 开发web
通过 ollama 本地运行 Llama3 大模型其实对我们开发来说很有意义，你可以私有化放服务上了。然后通过 api 访问，来处理我们的业务，比如翻译多语言、总结文章、提取关键字等等。你也可以安装 enchanted 客户端去直接访问这个服务 api 使用。
2024-07-09 15:05:32
839
原创 别再花钱买AI课了，到处都是国内可用且免费的AI工具+学习资料_ai for everyone 让模型开发使用 更简单 这个是收费的吗
前两天群里面到处在转一个飞书云文档，讲道理，以往硅基君看到的这种到处转发的文档，一般都是pdf或者ppt格式，内容大多劲爆刺激。比如渣男出轨聊天记录，渣女开房历史之类的，充分满足了小编当赛博判官的乐趣。可这飞书玩意不一样，标题为《通往AGI之路》的文档，是一篇实打实的学习资料。大家有多热爱学习呢，可以说无论什么时候点进去，里面都有几百个人在同时阅读，咱也把链接附上：通往 AGI 之路这份详实的学习资料是一位前大厂产品经理，当作业余爱好来维护的“AI百科全书”。
2024-07-09 15:04:20
854
原创 一口气了解大模型相关通识，基础笔记！_大模型数据
，特指部分参数的微调方法，这种方法算力功耗比更高，也是目前最为常见的微调方法;除此之外，Fine-Tuning也可以代指全部微调方法，同时OpenAI中模型微调API的名称也是需要注意的是，OpenAI提供的在线微调方法也是一种高效微调方法，并不Fine-Tuning,是全量微调;微调， Fine-Tuning，一般指全参数的微调 (全量微调) ，指是一类较早诞生的微调方法，全参数微调需要消耗大量的算力，实际使用起来并不方便，因此不久之后又诞生了只围绕部分参数进行微调的高效微调方法;
2024-07-05 14:38:33
1156
原创 中国大模型落地进展如何？
在ChatGPT爆发之后，国内外科技赛道都被掀起了巨大波澜，随后在国内这段时间里，大量的大模型争先恐后地出现。那么截止到现在，大模型在国内土壤落地得怎么样了？一起来看看本文的解读。距离ChatGPT爆发的那一天，已经过去8个月了。8个月的时间，中国诸多大模型拔地而起，以飞快的速度，不断向各个行业场景渗透。但就目前为止，并未出现真正被大模型颠覆的场景或行业。统计数据显示，在大模型落地应用中，一个值得被看见的问题是：如今在中国的土壤里，大模型的落地进展究竟如何？
2024-07-05 14:37:54
844
原创 大模型LLM微调技术进展与热门方法汇总
是机器学习中的一项重要技术，旨在帮助我们降低成本，进一步提高模型的性能。具体来说，大模型微调指的是在现有预训练模型的基础上，根据特定任务数据进行微调，以适应任务的特定需求，以便我们更好地解决各种实际问题。目前较为流行的大模型微调技术是(Parameter-Efficient Fine Tuning)，只对部分的参数进行训练，主要有等方法。
2024-07-05 14:37:20
975
原创 大模型产品化，不过是三支舞
可能大家都想学习AI大模型技术，也想通过这项技能真正达到升职加薪，就业或是副业的目的，但是不知道该如何开始学习，因为网上的资料太多太杂乱了，如果不能系统的学习就相当于是白学。另一种类似应用的产品化建设思路，是大入口+小收费窗口的互联网模式，即整体产品免费，但一些特定的功能可能需要开通会员或者使用代币。这种“类视频电话”的大模型产品模式，本质上是将不同的 AI 感知、理解、生成能力进行融合，就像胡旋舞会越转越快，随着大模型的不断发展，AI 技术也在越转越快，把不同模态下的信息收集能力与内容生成能力都卷进来。
2024-07-04 14:07:46
987
原创 AI大模型入门基础教程（非常详细），AI大模型入门到精通，收藏这一篇就够了！
AI大模型，简而言之，是基于深度学习技术的庞大规模数据与计算能力孕育出的智能模型。这些模型的特别之处在于它们不仅参数量级的庞大，常常跨越亿计，而且在处理复杂度上也远超乎想象。正是这种规模和复杂性，使得它们在诸如自然语言理解、图像识别、语音识别等领域展现出卓越的准确性和泛化的处理能力，几乎可比拟的泛化应用范围。
2024-07-04 14:07:15
1338
原创 “我王多鱼投了！”疯狂烧钱的AI大模型公司如何赚钱？
AI大模型到底有多烧钱？或许最有发言权的就是OpenAI了，2022年其亏损大约翻了一番，达到约5.4亿美元。据悉，Altman曾私下建议，OpenAI可能会在未来几年尝试筹集多达1000亿美元的资金，以实现其开发足够先进的通用人工智能。国内的AI公司也不例外。不完全统计，国内头部AI公司智谱AI、百川智能、零一万物、MiniMax和月之暗面，从去年下半年至今已完成了总额超30亿美元的融资，当然，他们也公开表示，在通往AGI的路上，这些钱还远远不够。
2024-07-04 14:06:44
753
原创 突破瓶颈：如何优化 LLMs 的落地成本和延迟
当一段代码缺乏清晰的结构、正确的模块划分和合理的逻辑顺序，而是充斥着大量的嵌套条件语句、无序的跳转、重复的代码块时，就被视为"意大利面式代码"。初次接触时，大语言模型（LLMs）可能令人感到无所适从，但归根结底，重要的是要记住我们打交道的仍是软件。这种架构使得我们能够在每次调用时，首先选取需要使用的特定任务提示词，而无需随附沉重的、消耗大量 tokens 的执行指令（execution instructions），从而平均减少了超过 60% 的 tokens 使用量。
2024-07-01 16:43:21
671
原创 产品经理如何巧用提示词引导AI工具解决5类问题？
可能大家都想学习AI大模型技术，也想通过这项技能真正达到升职加薪，就业或是副业的目的，但是不知道该如何开始学习，因为网上的资料太多太杂乱了，如果不能系统的学习就相当于是白学。• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。您能帮我理清思路吗？
2024-07-01 16:34:59
1010
原创 学习AGI大模型在2024年到底有多重要？
随着科技的飞速发展，我们正处在一个智能化的时代。2024年，AGI（人工通用智能）大模型即将成为改变我们生活的重要力量。它不仅将引领科技产业的变革，还将为我们的日常生活带来巨大的影响。AGI大模型的重要性不仅体现在其技术本身，更体现在其对我们生活的深远影响。它将改变我们的工作方式，提升我们的生活质量，推动社会的发展。因此，学习AGI大模型，了解其背后的原理和应用，对于我们来说至关重要。在2024年，AGI大模型将成为科技发展的关键力量。它将引领我们进入一个全新的智能时代，为我们带来前所未有的便利和机遇。
2024-07-01 16:34:29
1270
原创 AI大模型：解锁未来职业竞争力的金钥匙
从日常的问答对话到复杂的编程辅助，乃至创意图像生成，AI大模型展现出超乎想象的能力，预示着“未来已来”，并成为互联网行业的新宠。大模型，即拥有庞大参数量和复杂度的机器学习模型，广泛应用于自然语言处理（NLP）、计算机视觉（CV）、科学计算和多模态处理等，如Open AI的GPT系列、腾讯的PCAM、华为的盘古气象模型及谷歌的Vision Transformer。即便已有编程经验，转向大模型仍极具价值。既然要系统的学习大模型，那么学习路线是必不可少的，下面的这份路线能帮助你快速梳理知识，形成自己的体系。
2024-06-28 14:42:27
914
原创 如何破解大模型应用有场景但落地难的问题？_大模型应用面临问题
许多大模型在场景中有很多潜在的应用，但在实际落地中常常会面临着各种各样的挑战和困难。具体而言，大模型通常需要大量的高质量数据进行训练，收集、整理和标注这些数据可能需要耗费大量的时间和资源，数据的质量和多样性对大模型的性能有很大影响。训练大模型需要强大的计算资源，包括计算能力和内存，这可能需要大量的资金投入和时间等待来建设和维护相应的基础设施。大模型通常具有复杂的结构和参数，这使得它们在部署和应用时具有一定的难度，模型的解释性、可扩展性和可维护性等问题也需要认真考虑。
2024-06-28 14:41:55
587
原创 大型语言模型微调入门指南
你可以根据特定的用例，通过微调大型语言模型的方式定制现有通用模型。为了更高效地微调模型，你可以考虑使用 LoRA 或模型分片（使用FSDP等框架）等技术。Modal的Llama和Mistral微调模板实现了许多这类的技术，能够帮助你快速启动分布式训练任务。你可以通过在 Modal 上微调 Llama 2 或Mistral 等开源模型获得一个定制的模型，这样不仅成本和延迟低于现有 API 服务，而且还非常适合自己的需求。
2024-06-28 14:41:21
1245
原创 一文速览Llama 3及其微调：从如何把长度扩展到100万到如何微调Llama3 8B_llama3 微调 mysql 数据_llama3 代码很短
4.19日凌晨正准备睡觉时，突然审稿项目组的文弱同学说：Meta发布Llama 3系列大语言模型了一查，还真是本文以大模型开发者的视角，基于Meta官方博客的介绍：Introducing Meta Llama 3: The most capable openly available LLM to date，帮你迅速梳理下LLama的关键特征，并对比上一个版本的LLama2，且本文后续，将更新用我司paper-review数据集微调llama3的训练过程。
2024-06-27 10:26:13
950
原创 2024年AIGC行业研究：多模态大模型与商业应用_
2024年2月，OpenAI发布其首款视频生成模型Sora，用户仅需输入一段文字即可生成长达一分钟场景切换流畅、细节呈现清晰、情感表达准确的高清视频，与一年前的AI生成视频相比，在各维度均实现了质的提升。这一突破再次将AIGC推向大众视野。AIGC即通过大量数据训练而成的人工智能系统，可根据用户的个性化指令生成文本、音频、图像、代码等内容。自2022年频频出圈的ChatGPT推出以来，生成式AI在游戏、影视、出版、金融、数字人等多个应用场景中展现出巨大潜力和价值。
2024-06-27 10:25:18
1473
原创 【2024最新】深入了解 大语言模型（LLM）微调方法（总结）_llm 大模型调优方法
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。即更新模型所有权重的过程，被称为全微调。需要注意的是，与预训练一样，全微调需要足够的内存和计算预算来存储和处理训练过程中的所有梯度、优化器和其他更新组件。其中，大模型微调技术在此过程中起到了非常关键的作用，它提升了模型的生成效率和适应性，使其能够在多样化的应用场景中发挥更大的价值。
2024-06-27 10:24:41
966
原创 现身说法，AI小白的大模型学习路径
写这篇文章的初衷：作为一个AI小白，把我自己学习大模型的学习路径还原出来，包括理解的逻辑、看到的比较好的学习材料，通过一篇文章给串起来，对大模型建立起一个相对体系化的认知，才能够在扑面而来的大模型时代，看出点门道。为什么要写这篇文章？首先我关注到了两个变化。
2024-06-25 20:33:17
1070
原创 国内 AI大模型产业发展深度分析 2024
文心一言是百度研发的人工智能大语言模型产品，具备跨模态、跨语言的深度语义理解与生成能力，在文学创作、文案创作、搜索问答、多模态生成、数理逻辑推算等众多领域都能为用户提供高质量服务。文心一言拥有四大基础能力：理解能力、生成能力、逻辑能力、记忆能力。（2）大模型优势：2023 年 10 月发布的“文心大模型 4.0”，相比上一代文心大模型，四大能力显著升级，其中逻辑提升幅度是理解的 3 倍，记忆提升幅度是理解的 2 倍。
2024-06-25 20:32:45
783
原创 如何破解大模型应用有场景但落地难的问题？_大模型应用面临问题
许多大模型在场景中有很多潜在的应用，但在实际落地中常常会面临着各种各样的挑战和困难。具体而言，大模型通常需要大量的高质量数据进行训练，收集、整理和标注这些数据可能需要耗费大量的时间和资源，数据的质量和多样性对大模型的性能有很大影响。训练大模型需要强大的计算资源，包括计算能力和内存，这可能需要大量的资金投入和时间等待来建设和维护相应的基础设施。大模型通常具有复杂的结构和参数，这使得它们在部署和应用时具有一定的难度，模型的解释性、可扩展性和可维护性等问题也需要认真考虑。
2024-06-25 20:31:57
931
原创 大语言模型的微调方法_大语言模型六种微调方法
自2018年BERT发布以来，“预训练+微调”成为语言模型的通用范式。以ChatGPT为代表的大语言模型针对不同任务构造Prompt来训练，本质上仍然是预训练与微调的使用范式。千亿规模的参数微调需要大量算力，即使提供了预训练的基座模型，一般的研究机构也很难对其进行全量微调（即对所有参数进行微调）。为了应对这个问题，相关学者提出了PEFT（Parameter-Efficient Fine-Tuning，高效参数微调）技术，本文将总结并介绍几种常见的PEFT技术。
2024-06-24 14:41:36
555
原创 谈一谈产品经理成长路径和能力模型_产品成长路径
在产品成长中有许多因素会造成一定影响，比如：**知识储备：**在特定工作面前拥有解决问题的方法和知识知识知道如何去思考，如何解决问题**技能：**在特定工作面前拥有解决问题的方法和并且知道知道如何去思考，如何解决问题**成绩：**在过往工作和项目中干出来的真实成绩，能够证明对于知识和技能的掌握程度**机会：**通往具有更大成长性的职业环境的机会，通过实际工作内容和真实企业需求推动获得更快速的成长。
2024-06-24 14:40:53
397
原创 【AI大模型】应用开发基础，学到就是赚到！_ai大模型应用开发
1、了解大模型能做什么2、整体了解大模型应用开发技术栈3、浅尝OpenAI API的调用AI全栈工程师：懂AI、懂编程、懂业务的超级个体，会是AGI（Artificial General Intelligence 通用人工智能）时代最重要的人。
2024-06-24 14:40:13
343
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人