- 博客(269)
- 收藏
- 关注
RSS订阅原创 工信教考 | AI智能体应用工程师（模拟试题）
关于AI智能体工程师的模拟试题，下面根据AI智能体工程师所需掌握的知识和技能，设计一些模拟题型的示例。这些题目旨在考察应试者在人工智能、机器学习、深度学习、算法设计、系统开发等方面的能力。
2024-07-30 14:22:59
451
原创 AI 大模型催生的新职业，提示词工程师是什么？
当谈起提示词工程师时，我们实际上想谈论什么？我们谈论的是AI领域的一个新兴职业，是一种全新的工作方式和思维模式。更重要的是，我们也在探讨一个更广泛的社会话题：随着AI技术的不断发展，未来职业还将如何演变？人类工作者将如何与智能系统协作？我们如何确保技术的发展能够符合伦理标准，促进社会的可持续发展？
2024-07-30 14:21:42
1485
原创 了解一点智能体（Agent）
百度百科对智能体的定义：智能体，顾名思义，就是具有智能的实体，英文名是Agent。以云为基础，以AI为核心，构建一个立体感知、全域协同、精准判断、持续进化、开放的智能系统。
2024-07-29 22:21:00
3400
原创 什么是智能体(agent)
智能体（Agent）是人工智能领域中的一个核心概念。在最基本的层面上，智能体可以被定义为一个实体，它能够在其所处的环境中自主地感知信息，并根据这些信息做出决策，以实现特定的目标或任务。智能体的关键特性包括自主性、感知能力和决策能力。：智能体能够在没有外部干预的情况下控制其行为。：智能体能够通过传感器或数据输入来感知其环境的状态。：智能体能够处理感知到的信息，并根据一定的决策机制做出响应的行动。智能体的目标可以是简单的，如维持系统稳定，也可以是复杂的，如在多智能体系统中进行协调合作。
2024-07-29 22:18:52
1439
原创 大模型技术知识点：Agent
大模型Agent指的是基于大规模语言模型（Large Language Model, LLM）的自主智能体。这种智能体能够通过理解和生成自然语言来进行复杂的决策和任务执行，具备一定的自主性和交互能力。大模型Agent能够处理和理解大量的文本信息，通过预训练和任务适应，实现对特定领域问题的解答和操作。基于大模型训练Agent主要涉及到模型微调（Fine-tuning）、指令微调（Instruction Tuning）、工具调用以及多智能体协作等技术。
2024-07-29 22:16:33
1934
原创 开源最强AI大模型又来？我会出手（整合包）
要说AI大模型，我可就不困了。自从OpenAI发布了ChatGPT，可以说是开启了AI新时代！AI大模型，作为各种AI应用的，一直以来都是兵家必争之地。以至于各种大厂齐上阵，把大模型市场卷成了一锅粥，把显卡价格都炒高了，老黄闷声赚了个盆满钵满。大模型现在有两条明显的发展路径，。闭源大佬们，投了那么多钱，正想挖个沟子赚钱呢。没想到啊，Meta直接不讲武德，开源了超强的系列大模型。这下大家一下子嗨了！不仅解决了大模型的基础技术架构问题，还降低了从0开始冷启动的风险。可以说“王侯将相宁有种乎”，
2024-07-25 19:09:22
932
原创 Ollama 安装 llama3.1
Llama 3.1 模型系列包括以下版本：8B，70B，405B。Llama 3.1 405B 是首个公开发布的模型，其在通识知识、操控性、数学、工具应用和多语言翻译等方面的能力与顶尖 AI 模型相当。8B 和 70B 模型的升级版支持多语言，并大幅提升了上下文长度至 128K 字符，拥有最先进的工具应用能力和更强的逻辑推理能力。这使 Meta 的最新模型能够应对更多高级应用场景，比如长文本摘要、多语言对话代理和编程助手。
2024-07-25 19:07:24
269
原创 LLama3.1模型开源解读
依然是使用的标准的、密集型的Transformer架构，和Llama2相比没什么滑头。一些细微的修改：使用了GQA的attention，带8个key-value头来减少K-V cache的decoding负担。使用attention mask来替代self-attention, 当两份不同的文档含有相同的文本序列时，对持续的训练长文本比较有效，且副作用小。词汇表是128k tokens：100k token 来自tiktoken的分词器，28k额外的token来自其他非英语系语言。
2024-07-25 19:06:19
783
原创 部署大型语言模型推理的基础知识
运行大型语言模型（LLM）是一项复杂而富有挑战性的任务。主要挑战在于模型规模巨大，对计算资源和存储空间提出了极高的要求。为了解决这一问题，模型分片技术至关重要，它可以将模型分割到多个服务器上，有效分散计算负载。此外，精心设计和优化模型服务和推理流程对于处理高并发请求和数据至关重要。构建和维护支持所有这些的基础设施还需要深厚的技术知识，涵盖分布式计算、数据管理和机器学习等多个领域。基础设施建设本身就是一个复杂的过程，需要在硬件和软件层面进行大量投资。大型语言模型的成本考量。
2024-07-24 15:44:34
1324
原创 2024国内主流AI 大模型架构及应用场景深度分析
◼ 产业级知识增强大模型，夫嫩行业大模型发展百度文心大模型源于产业、服务于产业，是产业级知识增强大模型。百度通过大模型与国产深度学习框架融合发展，打造了自主创新的 AI 底座，大幅降低了 AI 开发和应用门槛。文心大模型一大特色是“知识增强”，百度自研的多源异构知识图谱拥有超过 5,500 亿条知识，被融入到文心大模型的预训练中。文心大模型凭借海量数据和大规模知识的融合学习，能实现更高的效率、更好的效果、更强的可解释性。◼ 大模型架构分三层体系。
2024-07-24 15:40:37
1282
原创 本地快速私有化部署和运行大语言模型
通过它可以在终端与大语言模型交互，而且安装非常的简单，支持非常多的模型，并且可以随意切换模型， 支持模型地址：https://ollama.com/library。在选择模型的时候需要考虑一下你本地运行的机器的内存是否满足运行这个模型的要求，运行 7B 的模型需要至少 8 GB的内存， 运行 13B 的模型至少需要 16 GB的内存，运行 33B 的模型至少需要 32 GB 的内存。我这里显示只安装了一个 llama2 模型，模型的大小是3.8GB。接着可以用 list 命令看看本地安装了哪些模型。
2024-07-24 15:37:04
328
原创 很多人对AI Agent的理解太片面
现在 AI 智能体（AI Agent）的概念很火，似乎 Agent 是用 AI 解决问题的银弹，有了 Agent 就可以解决很多问题。但也有很多人有不同意见，认为 Agent 不过是噱头，并没有看到靠谱的应用场景。一个被提及很多的是吴恩达老师写的多 Agent 翻译的例子，简单来说就是用三个 Agent：一个直译 Agent、一个审查 Agent、一个意译润色 Agent，确实可以大幅提升翻译质量。
2024-07-23 15:10:32
1063
原创 人工智能大模型时代，八种常见的“数据标注”方法
你知道的数据标注都有哪些？数据标注（Data Annotations）是指对收集到的、未处理的原始数据或初级数据，包括语音、图片、文本、视频等类型的数据进行加工处理，并转换为机器可识别信息的过程。矩形框标注是一种的简单处理方式，常用于等。多边形标注是指在静态图片中，使用多边形框，标注出不规则的目标物体，相对于矩形框标注，同时对于不规则物体，也更具针对性。语义分割是指根据物体的属性，，以帮助训练图像识别模型，常应用于自动驾驶、人机交互、虚拟现实等领域。关键点标注模板最大的应用即是。
2024-07-23 15:01:15
1498
原创 AI大模型标注：你看不上的数据标注正在成为高薪工作
大模型的出现激发出了不少新兴岗位，也让越来越多岗位备受人关注。数据标注这个岗位就是其中之一。想了解更多有关数据标注、大模型标注的同学，或许可以看看这篇文章。2022年底，ChatGPT引爆大语言模型，全球科技巨头纷纷入局，后来各家不仅限于自然语言技术，更是将文生图、文生音频、文生视频、图生视频等多模态技术“玩”出了新高度，近期大模型生成的兵马俑，还跳起了“科目三”的热舞。
2024-07-23 14:56:59
1077
原创 大模型应用的10种架构模式
在塑造新领域的过程中，我们往往依赖于一些经过实践验证的策略、方法和模式。这种观念对于软件工程领域的专业人士来说，已经司空见惯，设计模式已成为程序员们的重要技能。然而，当我们转向大模型应用和人工智能领域，情况可能会有所不同。面对新兴技术，例如生成式AI，我们尚缺乏成熟的设计模式来支撑这些解决方案。作为一位老码农，我在这里整理总结了一些针对大模型应用的设计方法和架构模式，试图应对和解决大模型应用实现中的一些挑战，如成本问题、延迟问题以及生成的不准确性等。
2024-07-22 20:34:41
1031
原创 大规模语言模型从理论到实践
近年来，人工智能技术的迅猛发展在多个领域带来了革命性的变革，其中自然语言处理（NLP）技术是推动社会进步的重要驱动力。NLP技术的核心在于理解、生成和处理人类语言，涉及到文本分类、机器翻译、文本摘要、问答系统、对话系统等多个子领域。传统的NLP技术主要依赖于规则和手工设计的特征，但在处理自然语言的复杂性和多样性上存在诸多限制。随着深度学习和大规模预训练语言模型（Large Language Model, LLM）的崛起，NLP技术进入了一个新的时代。
2024-07-22 20:20:08
1041
原创 农业大模型的四个应用场景
7月13日，中国农业大学“神农大模型2.0”正式发布，“神农大模型2.0”在1.0基础上实现了技术上的显著突破，涵盖了多个专门化的农业专业大模型，分别是“神农・固芯”育种大模型、“神农・筑基”种植大模型、“神农・强牧”养殖大模型、“神农・问穹”遥感气象大模型。使得大模型能够广泛覆盖等多个农业应用场景，极大地拓宽了实用价值。数字开物了解到，不只是“神农大模型”，今年4月和6月还先后发布了专注于种业的“丰登”大模型、专注渔业的“范蠡”大模型。AI大模型在农业领域有着广泛的应用前景。
2024-07-22 20:16:31
1080
原创 普通人也能看懂的大语言模型入门
但首先，让我们从一些你可能经常听到的基本术语开始。什么是人工智能？•人工智能：一个实体，如果人类做类似的事情，人们可能会合理地称之为智能的行为。使用“智能”这个词来定义人工智能有点问题，但没有人能就“智能”的好定义达成一致。然而，我认为这种定义仍然相当合理。它基本上是说，如果我们观察到一些人造的东西，它做的事情既吸引人又有用，而且看起来有些非平凡，那么我们可能会称之为智能。例如，我们经常将“AI”这个术语归因于电脑游戏中的电脑控制角色。
2024-07-18 19:52:10
705
原创 值得细读的8个视觉大模型生成式预训练方法
大语言模型的进展催生出了ChatGPT这样的应用，让大家对“第四次工业革命”和“AGI”的来临有了一些期待，也作为部分原因共同造就了美股2023年的繁荣。LLM和视觉的结合也越来越多：比如把LLM作为一种通用的接口，把视觉特征序列作为文本序列的PrefixToken，一起作为LLM的输入，得到图片或者视频的caption；也有把LLM和图片生成模型、视频生成模型结合的工作，以更好控制生成的内容。
2024-07-18 19:51:26
873
原创 使用大模型提效程序员工作
通过在接手其他语言的项目中使用大模型、生成脚本辅助日志查询、根据接口文档使用大模型直接生成Java Bean代码以及学习新技术这四个场景的实践，我们可以更快地理解代码、更快地查找线上问题，以及减少编码时间。比如：你可以输入一段 Lua 脚本，询问大模型，这段脚本的意思，还可以让它详细解释每行代码的意思，让我们更快接手一个我们不熟悉编程语言写的项目。包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。但使用大模型仍然能够大大提升我们学习新技术的效率。
2024-07-18 19:50:12
1143
原创 大型语言模型 - 入门
ChatGPT的基本概念在某种程度上相当简单：首先从互联网、书籍等获取人类创造的海量文本样本，然后训练一个神经网络来生成“与之类似”的文本。特别是，它能够从“提示”开始，继续生成与其训练数据相似的文本。" - 《这就是ChatGPT》大型语言模型（LLM）和提示词已经成为众所周知的热点概念，数以千万计的人已经开始使用它们，有的人可以用提示词生成生动和绝美的图片。然而，它的运作原理对于没有AI 背景的人却成了一个复杂的谜题。
2024-07-17 22:24:45
1078
原创 终于能把火爆全球的大语言模型LLM学懂了！
这些模型通常由深度神经网络构建而成，这些模型在不同的上下文中可能有不同的大小阈值。例如，对于自然语言处理（NLP）领域，大模型可能指的是包含数十亿到千亿参数的模型，如GPT-3、GPT-4等。对于计算机视觉领域，大模型可能是拥有数亿参数的深度卷积神经网络，如ResNet-152。做为 LLM 的基础模型，这个模型是入门绝对绕不开的。这本书的代码都是进行了注释的，不仅可以让大家快速理解这些代码，还能知道实现的目的以及如何实现的。
2024-07-17 22:23:01
1392
原创 一文梳理LLM中的核心概念
牛顿运动定律并不是“先知”告诉牛顿的，而是牛顿本人经过观察、测量、记录、思考、假设、验证等一系列步骤后总结出来的。这个总结的过程就是建立模型的过程，最后得到的结论就是一个模型。有些模型是有名字的，比如“牛顿第一、第二、第三运动定律”。根据建立的模型，我们可以直接计算出给定条件（输入）下我们关心的问题的结果是什么（输出），这也就是用模型进行“预测”的过程，这一过程有时候也叫做“推理”。为人类语言文本建立的模型就是语言模型。大语言模型的“大”体现在模型的参数量很多，比如ChatGPT有1750亿个参数。
2024-07-17 22:20:28
732
原创 大语言模型高效推理技术
24年6月来自无问芯穹、清华大学和上海交大的论文“A Survey on Efficient Inference for Large Language Models”。大语言模型 (LLM) 因其在各种任务中的出色表现而受到广泛关注。然而，LLM 推理对计算和内存的大量要求对在资源受限的情况下的部署带来了挑战。如何提高 LLM 推理效率？本文对现有的高效 LLM 推理进行了全面调查。首先分析 LLM 推理效率低下的主要原因，即模型规模大、二次复杂度的注意操作和自回归解码方法。
2024-07-16 15:21:09
657
原创 大模型所谓的参数是什么？大模型为什么需要训练？大模型训练到底干了什么？
大模型的本质是机器学习，机器学习的本质就是一种数学模型。我们经常能听到这样的说法，某某大模型有多少参数，某某大模型参数量又提升了，这里所说的参数到底是什么？我们知道大模型是训练出来的，那么哪些训练数据都跑哪去了，大模型训练的过程中都干了什么？为什么大模型需要训练？01大模型的参数到底是什么？我们知道大模型的发展从刚开始的几百个参数，到现在的上千亿个参数，比如GPT-3就有一千七百多亿个参数。
2024-07-16 15:20:18
694
原创 大模型LLM微调技术方法paper汇总！
随着AI技术的发展，大型预训练模型在图像识别、自然语言处理等领域表现出色，不过为了使其适应特定的任务和数据集，这些模型通常需要针对特定应用进行微调。今天就特意整理了12篇大模型LLM微调技术方法paper分享给大家，提供了对于LLM在不同场景下进行高效微调的深入分析、实践经验和技术突破，大家可以学习一下！
2024-07-16 15:19:29
1050
原创 大模型发展方向
近年来，人工智能技术的飞速发展，特别是大模型技术的崛起，为全球科技产业带来了前所未有的变革。大模型，以其强大的推理能力、创意生成能力和情绪智能，正在逐步成为推动社会经济发展的核心力量。本文将从技术、应用、社会等多个维度，深入探讨大模型未来的发展方向。
2024-07-11 17:00:51
1070
原创 大模型应用的四个关键方向
未来大型模型应用将沿着四个关键方向发展：AIGC（内容生成）、Copilot（智能助手）、Insight（知识洞察）、Agent（数字代理）。如下所示：1.AIGC（内容生成）：内容生成是生成式 AI 创造力的核心，包括文本、图像、视频、代码、3D 模型等。文本生成广泛应用于教育、法律和对话业务；图像、视频和 3D 则在营销、影视创作和游戏等领域得到应用。
2024-07-11 16:53:42
1141
原创 智能新时代：中国AI大模型的产业发展
AI大模型作为智能新时代的核心驱动力，正在深刻影响着我们的生产和生活。中国在这一领域的快速发展，不仅展现了国家的战略眼光和科技实力，更为全球AI产业的发展贡献了中国智慧和中国方案。随着技术的不断进步和应用的不断深入，我们有理由相信，AI大模型将开启一个更加智能、便捷和美好的未来。读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用如果你是零基础小白，想快速入门大模型是可以考虑的。一方面是学习时间相对较短，学习内容更全面更集中。二方面是可以根据这些资料规划好学习计划和方向。
2024-07-11 16:51:47
1256
原创 小白速成教程：私有化大模型+知识库
这是一套简单稳定，小白可操作的方案，同时支持后续深入学习更高阶的操作。搭建完之后，你就可以随时随地无需网络，不用担心隐私泄露的使用你自己的专属知识库的大模型聊天机器人了！
2024-07-08 22:13:32
1296
原创 如何训练一个大模型
本篇我们根据Andrej Karpathy（安德烈·卡帕西）的专题演讲《State of GPT》来介绍GPT如何从“初始模型”（base model）一直训练成ChatGPT这样的“助手模型”（assistant model）。Andrej Karpathy是OpenAI的创始人之一，也是GPT大模型训练这个领域最有话语权的人之一，建议大家去看一下大佬的演讲视频（https://www.bilibili.com/video/BV1ts4y1T7UH）。
2024-07-08 22:09:01
646
原创 大模型时代的就业：岗位还在，但能力要求变了
自ChatGPT爆火出圈以来，AI大模型的热度也持续升温,而哪些职业将受到的影响最大，成为热议的话题之一。。” 中国人民大学中国就业研究所所长曾湘泉在外滩大会上提到。在会后的采访中，曾湘泉表示，。岗位还在，但是能力变了。比如大学老师教的内容不一样了，编辑人员要了解和增加很多方面的知识学习。因为随着新技术革命的到来，会有大量数字化的东西出现。曾湘泉强调，复合型的人才是当前最为紧缺的。。所谓的就业结构变化就是，可能岗位还在，但是人的要求变了。
2024-07-03 17:03:25
401
原创 想从事大模型？一大波工作岗位等你选！
技术类岗位您可从事：算法工程师，研发工程师。管理类岗位您可从事：AI项目经理、AI产品经理、AI销售、AI解决方案。01技术类岗位大模型算法工程师的职位通常要求求职者具备以下几方面的能力和经验。通用技能：通常要求硕士及以上学历，专业领域涉及自然语言处理、机器学习、深度学习、计算机视觉、人工智能等相关领域。团队协作：具备良好的团队合作精神和沟通能力，能够积极参与项目的讨论和决策。专业技能编程技能：需要具备优秀的编程能力，熟悉Python、C++等编程语言。
2024-07-03 17:02:22
538
原创 【大模型】—AI大模型总体概述
随着人工智能技术的迅猛发展，AI大模型一直被视为推动人工智能领域提升的关键因素，大模型已成为了引领技术浪潮研究和应用方向。大模型是指具有庞大规模和复杂结构的人工智能模型，它们具有数以亿计的参数和深层次的神经网络架构。这些模型通过学习海量数据和深度神经网络的优化，在各种任务上取得了令人瞩目的成果。本文将对AI大模型进行简要介绍，包括其定义、发展历程以及分类等。AI大模型是通过深度学习算法和人工神经网络训练出的具有庞大规模参数的人工智能模型。
2024-07-03 17:01:38
477
原创 大模型学习笔记-汇总篇
本文记录一下最近一个月学习的大模型相关的技术知识点，为拥抱AI浪潮做些技术储备。大模型术语相关参数规模GPT 3.5 千亿级别GPT4 1.8W亿级别国内一般都是十亿或百亿级别淘宝星辰_4K_13BTOKEN长度Token是指被LLM处理的离散的数据单元，可能是一个单词、也可能是一个字符，这个是由上下文决定的。TOKEN数量是指 输入和输出加起来的长度之和TOKEN数量，决定了 prompt和输出的长度，同样会影响推理的速度，prompt越长，推理时间越长。
2024-07-03 17:00:36
399
原创 关于大语言模型中“微调”概念的学习资料收集
当谈到大型语言模型（LLM）以及它们的微调时，初学者可能会感到困惑。让我们更详细地解释一下这些概念，以帮助初学者更好地理解。1. 大型语言模型（LLM）什么是LLM？LLM是一种强大的计算机程序，它通过学习大量文本数据来理解和生成自然语言。这些模型可以用于各种自然语言处理任务，如文本生成、翻译、问答等。示例模型：一些著名的LLM包括GPT-3和BERT。它们是通过在数十亿字节的文本数据上进行训练而创建的。2. 微调（Fine-Tuning）什么是微调？
2024-07-03 16:59:46
318
原创 快速了解什么是大模型
大模型（Large Model）是AI人工智能领域中的一种重要模型，通常指的是参数量非常大、数据量也非常大的深度学习模型。大模型通常由数百万到数十亿的参数组成，需要大量的数据和计算资源进行训练和推理。由于其巨大的规模，大模型具有非常强大的表示能力和泛化能力，可以在各种任务中表现出色，如语音识别、自然语言处理、计算机视觉等。大模型是一种使用海量参数和数据进行预训练的深度学习模型，可以在多个领域和任务中展现出强大的泛化能力和自监督学习能力。1.提供预训练方案：解决模型碎片化的问题。
2024-07-03 16:59:06
432
原创 大模型基础知识
随着算力和深度学习的发展，人工智能也逐渐进入新发展阶段，展现出前所未有的惊人生产力，为新一轮科技创新驱动注入强大活力和动力。大模型作为人工智能发展到一定阶段的产物，其智能化程度已远远高出我们先前的预期，正在以一种前所未有的力量去提升国计民生各领域的生产力。本文将就大模型的历史演变、当前发展阶段、关键核心技术和应用场景进行综述。一、大模型历史演进阶段大家都在谈，AI大模型的发展历经了三个阶段，即萌芽期、沉淀期和爆发期。但我想从另外一个维度来看待大模型的历史进程。为什么会出现大模型？
2024-07-03 16:58:19
438
原创 LLM （大模型）评估框架知多少？
Arthur Bench 是一个开源的评估工具，用于比较生成文本模型 (LLM) 的性能。它可以用于评估不同 LLM 模型、提示和超参数，并提供有关 LLM 在各种任务上的性能的详细报告。Arthur Bench 的主要功能包括：1、比较不同 LLM 模型：Arthur Bench 可以用于比较不同 LLM 模型的性能，包括来自不同供应商的模型、不同版本的模型以及使用不同训练数据集的模型。2、评估提示：Arthur Bench 可以用于评估不同提示对 LLM 性能的影响。
2024-06-29 22:07:26
1021
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人