Python_paipai的博客

大型语言模型（LLMs）是一种通过处理大量数据生成内容的人工智能程序，预计将对工作产生深远影响，但这一变化可能需要较长时间才能显现。例如，厨师、木匠和摩托车修理工可能不会受到LLMs的影响，而口译员、诗人和校对员则更有可能被LLMs取代。这项研究基于美国政府从2020年起三年内收集的1016个职业中的21000项任务的数据。研究结果发表在题为《GPTs Are GPTs：大型语言模型的劳动力市场影响潜力初探》的论文中。该论文提出，LLMs最可能影响的是律师、分析师、科学家和技术专家等知识工作者。

当前AI领域正在经历一个关键的转折点：从"能说会道"走向"能做善成"。AI Agent的出现和发展，代表了人工智能从"纸上谈兵"到真正解决实际问题的重要跨越。技术层面的机遇将强大的语言理解能力转化为实际的执行能力通过工具集成实现AI能力的无限扩展打造真正能够帮助人类的智能助手降低AI应用的开发门槛应用领域的机遇个人助理：帮助处理日常任务、信息整理、日程管理企业自动化：流程处理、数据分析、客户服务研发辅助：代码开发、调试、文档生成创意领域：内容创作、设计辅助、市场分析商业价值。

RAG**？**

在2023年以前，AI Agent更多是强化学习领域的概念，通过在复杂环境中获取人类反馈的奖励信息从而得以不断提升。**大模型的出现为AI Agent提供了“聪明的大脑”，并重新定义了AI Agent。规划（Planning）、记忆（Memory）、工具（Tools）、执行（Action）**四大要素。AI Agent能够充分发挥大模型的能力，尤其是在解决复杂问题方面，相较于传统AI应用架构将实现跃迁级提升。斯坦福大学教授吴恩达表示，“基于GPT-3.5构建的智能体工作流在应用中表现比GPT-4更好”

产品：开源企业级LLMops（大模型应用开发平台）：毕昇BISHENG。7800+ Github Star，被多名开发者评价为“目前见过功能最强大，最适合企业内落地的开源大模型应用开发平台”，已服务工商银行、交通银行、中国人寿、中粮集团、中核集团、宁德时代、快手、中电建等众多头部组织及世界500强企业。详细介绍文档：https://dataelem.feishu.cn/wiki/ZxW6wZyAJicX4WkG0NqcWsbynde。

大模型（Large Models）的训练是近年来人工智能领域的核心技术之一，尤其是在自然语言处理、计算机视觉等任务中，如 GPT、BERT 等模型的成功背后，离不开复杂的训练过程。本文将为你介绍大模型是如何训练的，包括数据准备、模型架构、训练方法和硬件支持等方面。大模型的训练需要大量的数据，因为它们需要从海量信息中学习模式和规律。

不少小伙伴都想要学习大模型技术，转战AI领域，以适应未来的大趋势，寻求更有前景的发展~~然而，在学习大模型技术这条道路上，却不知道如何进行系统的学习，所以本期书单就为大家奉献一场，从大模型理论基础到大模型工具应用，构建自己的LLM应用程序……应有尽有，如果你是AI小白，想要从入门开始学起，或者想要了解AI未来的发展趋势，也有相应的图书哦~~**▊《**张奇，桂韬，郑锐，黄萱菁 著。

随着人工智能技术的飞速发展，大模型已经成为推动这一领域进步的核心力量。它们通过处理海量数据，学习复杂的模式和关系，为各种应用提供了强大的智能支持。从语音识别到自动驾驶，再到个性化推荐系统，大模型正在不断地改变我们的生活和工作方式。然而，对于初学者来说，大模型的世界可能显得既神秘又难以接近。熟练掌握大模型的知识和技能在未来职场将是一项基本要求。无论是为了提升自己的技术能力，还是为了在职场上保持竞争力，了解和应用大模型都十分有必要。

希望这能让大家充分感受到 Transformer设计的优雅。请阅读我的系列文章中的其他 Transformer 文章，深入了解为什么 Transformer 如今已成为众多深度学习应用的首选架构。

大模型是AI领域的一个重要趋势，具有强大的泛化能力和适应能力，在多个任务和领域上表现出惊人的成就。大模型可以利用海量的数据来学习通用的知识和能力，从而在多个场景和需求上提供高效的解决方案。大模型可以带来更好的用户体验和商业价值，在各个行业和领域中创造更多的创新和变革转行做。大模型需要海量的数据和计算资源来训练和运行，对于硬件设备、网络带宽、存储空间等方面有很高的要求。大模型涉及到很多前沿的理论和实践，对于知识水平、技术能力、学习能力等方面有很高的要求。

随着人工智能（AI）的迅猛发展，许多传统岗位正面临被AI替代或深度改造的挑战。产品经理这一岗位，作为连接技术、市场和用户的关键角色，也难以例外。在未来，AI产品经理的全面兴起将成为一种趋势。传统产品经理的工作模式、技能要求、以及工作流程都将被AI重新定义和塑造。**AI的渗透无处不在。**当我们看到诺贝尔物理学奖和化学奖的获奖者（如下图）来自人工智能领域时，AI不再仅仅是一个技术工具，而是已开始成为各个领域的主导力量。同样地，AI已经在改变产品经理的工作方式。

程序员也太难做了吧技术深度不够，涨薪难；行业迭代快，从事多年传统项目开发，想凭着技术赚钱，没想到，大模型时代，又开始卷AI技术了！甚至，不迭代自己的技术，可能大量的技术人员不到35岁就面临提前“毕业”！这也让程序员们开始重新评估自己的本领：“AI会取代哪些技术行业？“谁的饭碗不保了？“都在做大模型，程序员的未来在哪里？AI快速发展，国内也有超过 130 个大模型问世！当产品接入AI，潜力无穷！不管是企业、还是程序员，都靠着AI应用产品赚翻了！

生成式人工智能是一种基于深度学习的AI技术，其通过学习海量数据中的规律和模式，能够生成新的数据、图像、语言等内容。这种技术在各个行业的应用都能够带来巨大的商业价值作为一个普通人我们应该如何把握住这次技术变革的浪潮呢？可以从以下四点入手：关注相关新闻和发展动态：保持关注人工智能领域的相关新闻和发展动态，了解最新的技术进展和应用场景，这有助于更好地把握人工智能的发展趋势和未来的应用方向。

自学AI大模型需要扎实的基础知识、系统的学习路线和持续的实践与探索。希望这条学习路线能为新手小白们提供一个清晰的方向，帮助大家更好地进入和发展在AI大模型领域。祝大家学习顺利，早日成为AI领域的专家！

与其在AI抢占就业机会的危机中患得患失，不如快点接受这个新技术，将AI引入自己的工作中，通过AI来提升自己的生产力和创造力。1.自然语言处理：AI大模型，例如 GPT-3 和 BERT，大幅提升了自然语言处理任务的性能，如翻译、问答、分词、文本生成等领域。总的来说，“大模型”应该是基于具有超级大规模的、甚至可以称之为“超参数”的模型，需要大量的计算资源、更强的计算能力以及更优秀的算法优化方法进行训练和优化。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

随着人工智能（AI）技术的迅猛发展，尤其是大规模预训练模型（如GPT-4、BERT等）的出现，程序员迎来了一个前所未有的机会窗口。AI不仅能提高开发效率，还能为程序员提供创新创业的机会。本文将探讨程序员如何利用AI大模型实现逆袭。

智能体是指能够自主执行任务的人工智能系统，可以代替人类完成某个领域的任务流程。与传统大模型不同，智能体不仅可以进行简单的推理，还能通过预设逻辑完成复杂任务，并具备学习与持续优化的能力。文心智能体平台AgentBuilder 是百度推出的基于文心大模型的智能体（Agent）平台，支持广大开发者根据自身行业领域、应用场景，选取不同类型的开发方式，打造大模型时代的产品能力。

技术的价值在于应用，理论与实践相结合才能事半功倍**”**写这个关于AI技术的公众号也有差不多五个月的时间了，最近一段时间基本上都在保持日更状态，而且写的大部分都是关于大模型技术理论和技术方面的东西。‍‍‍‍‍‍‍‍‍然后最近一段时间就发现了一个问题，写的越理论的东西看的人越多，越实际越细节的东西看的人越少，不知道是因为系统推送的原因，还是观看者的原因。‍‍‍‍‍因此，根据这个现象就想提几个学习的建议，让大家少走一点弯路。01人工智能技术学习建议‍‍‍。

*什么是GPT？****GPT模型，全称为Generative Pre-trained Transformer，是由OpenAI团队开发的一种基于深度学习的自然语言处理（NLP）模型。****GPT的版本迭代：**GPT-1：这是GPT系列的第一个版本，发布于2018年。**GPT-1具有1.17亿个参数，使用Transformer的Decoder结构作为基础，并采用了预训练的语言模型。**它在多项自然语言处理任务上取得了很好的表现，如文本生成、机器翻译和阅读理解等。

近年来，基础模型取得了显著的成功，特别是通过大型语言模型LLMs），主要归因于数据和模型规模的大幅扩展。例如，像GPT-3这样的十亿参数模型已成功用于零/少样本学习，而无需大量的任务特定数据或模型参数更新。与此同时，有5400亿参数的在许多领域展现了先进的能力，包括语言理解、生成、推理和与代码相关的任务。反观视觉领域，诸如CLIP这样的预训练视觉语言模型在不同的下游视觉任务上展现了强大的零样本泛化性能。这些模型通常使用从网络收集的数百上千万图像-文本对进行训练，并提供具有泛化和迁移能力的表示。

LangChain是一个用于构建和运行大型语言模型应用的开源框架。它提供了一套工具和组件，帮助开发者将大型语言模型（如 GPT-3）与其他工具和API结合，以完成更复杂的任务。1、LangChain包含哪些核心概念?Components:可重用的模块，例如API调用、数据库查询等。Chains:将多个Components链接在一起以完成特定任务的流程。Prompt Templates: 用于指导语言模型生成输出的文本模板。Output Parsers:解析语言模型输出的工具。

我们熟知，ChatGPT能聊天画图，能编程啃论文，那么，这个聊天机器人到底是怎么学会与人类交流的呢？经过这段时间的琢磨+方神倾情板书输出讲解+回头翻阅各种资料，也终于明白了个大概，在这尽量给大家用我拙劣的语言说得明白些。先说说ChatGPT的核心部分：GPT（全称是Generative Pre-trained Transformer，里面的P和T我们一会儿会讲到），这是一个由OpenAI开发的大语言模型（LLM）。接下来，理解ChatGPT的原理得先了解它的核心架构。

关于如何入门LLM，大多数回答都提到了调用API、训练微调和应用。但是大模型更新迭代太快，这个月发布的大模型打榜成功，仅仅过了一个月就被其他模型超越。训练微调也已经不是难事，有大量开源的微调框架（llamafactory、firefly等），你只要懂部署，配置几个参数就能启动训练。甚至现在有大量云上项目，你根本不需要部署，直接上传数据，就能启动。这我让想起来之前的算法工程师都被调侃成调参师，新出一个大模型，下载下来跑一遍，运行一遍，对于自己理解和入门大模型没有任何意义。

百舸争流的AI时代，“AI+”行动在千行百业迅速开展。电商是一个重要场景，**据阿里调研，在电商平台，约30%受访商家已经使用生成式AI，成为生成式AI技术普惠的最佳试验场之一。**目前，已使用生成式AI的商家，过半数认为有效，且现阶段更青睐AI作图、作文、作视频，可以减少重复工作。面向未来，，其将对目前电商的运行逻辑和交互方式带来更深层次的重塑，并变革电商的组织形态。● **电商平台是生成式AI技术普惠的最佳试验场，**带来“AI+”丰富应用，约30%受访商家已经使用生成式AI。●。

强化学习，是让模型在环境里采取行动，获得结果反馈，从反馈里学习，从而能在给力情况下采取最佳行动来最大化奖励或是最小化损失。举例：和训练小狗类似，刚开始的时候，小狗会随心所欲做出很多动作，但随着和训犬师的互动，小狗会发现某些动作能够获得零食，某些动作没有流失，某些动作甚至会遭受惩罚。通过观察动作和奖惩之间的联系，小狗的行为会逐渐接近训犬师的期望。强化学习可以应用在很多任务上，举例：让模型下围棋时，获得不同行动导致的奖励或损失反馈，从而在一局游戏里优化策略，学习如何采取行动达到高分。

目标院校：中国科学院大学、北京大学（计算机科学）、清华大学（计算机科学）、复旦大学（计算机科学）、上海交通大学（计算机科学）、浙江大学、哈尔滨工业大学、西安交通大学、北京航空航天大学、华中科技大学。目标院校：北京大学、清华大学、复旦大学、上海交通大学、南京大学、中国科学院大学、浙江大学、中山大学、华中科技大学、哈尔滨工业大学。目标院校：清华大学、北京大学、复旦大学、上海交通大学、浙江大学、南京大学、中山大学、华中科技大学、哈尔滨工业大学、中国科学院大学。通常要求博士学历，有丰富的研究经验和发表论文的记录。

一了解产品经理、AI产品经理、AIGC产品经理的岗位职责及定义。了解AIGC行业介绍、市场趋势、细分赛道、核心玩家等信息。了解AIGC产品经理工作日常。了解大模型的基础知识和常见术语，如：AIGC、AGI、预训练、微调、token、prompt等。了解AIGC应用场景、产品设计和商业模式。二了解 Transformer 以及典型 Decoder-only 语言模型的基础结构和简单原理。了解生成对抗网络GAN、扩散模型Diffusion、图像模型基础原理。

内容概要：包括 内网、操作系统、协议、渗透测试、安服、漏洞、注入、XSS、CSRF、SSRF、文件上传、文件下载、文件包含、XXE、逻辑漏洞、工具、SQLmap、NMAP、BP、MSF…这有助于网络管理员和用户更好地了解他们的网络环境。技术文档也是我自己整理的，包括我参加大型网安行动、CTF和挖SRC漏洞的经验和技术要点，电子书也有200多本，由于内容的敏感性，我就不一一展示了。网上虽然也有很多的学习资源，但基本上都残缺不全的，这是我自己录的网安视频教程，上面路线图的每一个知识点，我都有配套的视频讲解。

大模型是指网络规模庞大的深度学习模型，其参数量通常在千亿级别。学习大模型需要具备计算机基础，这一点非常重要！要系统地入门大模型，首先需要学习深度学习的基础知识，包括神经网络（NN）、卷积神经网络（CNN）和循环神经网络（RNN）等。在学习完基础知识后，你可以借助开源算法来学习如何使用大模型进行自然语言处理任务。目前有很多大模型开源算法可供学习和使用。你可以选择一些经典的大模型算法，如BERT、GPT-2和Transformer等，通过阅读相关的论文和代码实现来深入了解它们的工作原理和应用场景。

=ChatGPT的爆火，让人看到了新的生产力发展方向，微软也因此放弃了元宇宙，ALL In AI，各大巨头和资本也陆续进入，誓要打造中国版的ChatGPT，并觉得人工智能可以改写现有的程序应用场景，带来新的生产力变革。**一位长者曾经说过，一个人的命运啊，当然要靠自我奋斗，但是也要考虑到历史的进程。**作为产品经理，我们只有躬身入局，才能不会错过这次人工智能的浪潮。

这里为从零手写大模型的实战课程介绍。如果你想成为真正懂 AI、可以写代码进行 AI 模型开发、对大模型的底层技术很了解的技术性人才，就来这里从零学习手写大模型吧。1、希望从事AI 算法开发、大模型开发的同学2、在为秋招或春招做准备，但是没有实际项目的同学3、希望了解大模型底层技术原理的同学4、希望转行到AI领域，从事AI相关岗位，但还未完成 AI 知识破冰的同学。

大模型微调，通常指有监督微调（Supervised Fine-Tuning, SFT），是在预训练模型（一般称为“基座模型”）的基础上进行的训练过程。预训练模型通常已经掌握了广泛的语言知识和语义表示，但为了让模型在特定任务或领域上表现得更好，我们会在特定任务的数据集上对其进行微调。1）Language Model，LM：一个预训练语言模型 LM，对基础模型微调得到一个微调后的模型使用人工标注的数据对预训练模型进行监督微调，以获得初始版本的生成模型。2）

前段时间，在OpenKG分享了我们在知识图谱结合大模型的技术及医药行业落地应用，，关注度很高。本篇编译分享关于大模型和知识图谱、本体的一场讨论。本体是知识的形式化表示。它们由特定领域内的概念、类别及其之间的关系组成。本体旨在以结构化的形式建模领域知识。它们使机器和人类能够理解、共享和重用这些知识。在生物医学领域，一个著名的本体示例是基因本体，它提供了一套全面的术语和关系来描述任何生物体中基因和蛋白质的功能。LLMS基于大模型的本体与知识表示本体在知识表示领域中发挥着至关重要的作用。

在大模型开发的道路上，许多程序员都曾因为环境搭建的困难而望而却步。尤其对于无法直接访问ChatGPT的程序员而言，这一挑战更为严峻。然而，本文将以通俗易懂的方式，为你打开学习大模型的大门，让你轻松写下自己的第一个大模型代码。大模型的学习之路似乎总是被技术难题所遮蔽。环境搭建、资源获取，这些看似不可逾越的障碍，常常令人望而却步。但实际上，学习大模型并非遥不可及。通过本文，我将带你一窥大模型的神秘面纱，让你重新点燃学习的热情。第一步，我将解决环境搭建的难题。

大模型作为目前最前沿的技术，是如何开发或者训练出来的呢。本文就为大家总结了大模型训练各阶段的最新技术方法，希望对大家有所帮助。1 背景根据scaling law，模型越大，高质量数据越多，效果越好。但还有一个很直观的情况，随着预训练样本的质量不断提升，训练手段的优化。新的模型，往往效果能轻松反超参数量两倍于它的模型。例如，最新出的minicpm，微信内部评测效果也是非常棒的。跟规模相对接近的2b、7b模型比，得分比qwen2b高，和qwen7b比有的高有的低。这个是minicpm的详细技术文档。

今天给大家带来一篇大模型微调相关的最新综述，主要大模型微调归纳为7个阶段分别为数据准备、模型初始化、训练环境配置、模型微调、模型评估与验证、模型部署以及模型监控与维护。模型微调（Fine-Tuning）就是以预训练模型为基础，通过相对较少的特定数据集进行的进一步训练，主要是在模型预先存在的知识之上用过减少数据和计算成本来提高特定任务的效果。模型预训练与微调之间差距大模型微调的优势：迁移学习：利用预训练过程中获得的知识，通过减少计算时间和资源，将其适应于特定任务。

随着2022年年底OpenAI公司推出ChatGPT（Chat Generative Pre-trained Transformer，基于生成式预训练Transformer模型的聊天机器人）产品，围绕大模型（Large Language Model，大语言模型，简称大模型）的人工智能商业化进程进入快车道，蓬勃发展的大模型时代来临。当前的大模型发展具有两大“快速”特征：一个是大模型技术快速迭代；另一个是大模型应用生态快速丰富。从全球范围来看，中美在大模型领域呈现领跑趋势。

1.头部 0.1%的pm，还没有出现，也就是LLM时代的神级产品经理，目前还没见过也许人家还在等待一个机会再出山。2.剩余99.9%的部分，2/8效应很明显，较为头部20%的pm是非常好的打工人，是懂模型又懂人性的pm，能在理解业务逻辑和行业变化情况下，快速推进模型效果优化和评测迭代，但不属于神级范畴。3.剩下 80%属于水平较弱的大模型pm。1.传统C端产品转型做大模型产品:拿到一个chatbot，第一步是拆用户漏斗2.战略分析师转型做大模型产品负责人:万事靠打专家 call。

作为程序员，如果你有兴趣迈向AI大模型的进阶之旅，以下是一些步骤和资源可以帮助你：基础知识：了解机器学习和深度学习的基础概念是重要的第一步。学习线性代数、概率论和统计学等数学基础知识，以及机器学习算法和神经网络的原理。这将帮助你更好地理解AI大模型的工作原理。编程语言和工具：Python是目前广泛用于机器学习和深度学习的编程语言。熟悉Python编程语言，并掌握相关的机器学习和深度学习库（如TensorFlow、PyTorch）将是你进一步学习和实践的基础。

最近研究了一下大模型相关的内容，决定从互联网的转行做大模型推理工程化相关的工作。所以简单说说我在这个决定中的思考过程。我本来是一个在大厂做推荐算法的工程师。收入在行业里面算是中游水平, 就这么一直干着似乎也没什么问题。但是互联网行业的岗位毕竟和公务员和事业单位比，不存在一个工作干一辈子的情况。这个工作能不能继续干完全取决于市场对于这个岗位有没有需求。但是推荐算法今年的情况就是，流量增长见顶，需求萎靡。