小城哇哇-CSDN博客

原创人工智能LLM模型：奖励模型的训练、PPO 强化学习的训练、RLHF

奖励模型通过与人类专家进行交互，获得对于生成响应质量的反馈信号，从而进一步提升大语言模型的生成能力和自然度。与监督模型不同的是，奖励模型通过打分的形式使得生成的文本更加自然逼真，让大语言模型的生成能力更进一步。通过强化学习的训练方法，迭代式的更新奖励模型（RW 模型）以及策略模型（RL 模型），让奖励模型对模型输出质量的刻画愈加精确，策略模型的输出则愈能与初始模型拉开差距，使得输出文本变得越来越符合人的认知。这种训练方法也叫做 RLHF。

2024-07-21 08:30:00 417

原创 LLM 大模型学习必知必会系列(四)：LLM训练理论篇以及Transformer结构模型详解

一般我们称做过预训练，或预训练结合通用数据进行了微调的模型叫做**base模型**。这类模型没有更专业的知识，回答的答案也可能答非所问或者有重复输出，但已经具备了很多知识，因此需要进行额外训练才能使用。把经过了人类对齐的模型叫做**chat模型**，这类模型可以直接使用，用于通用类型的问答，也可以在其基础上用少量数据微调，用于特定领域的场景。

2024-07-20 08:30:00 750

原创跨越35岁危机，程序员转战AI大模型，解锁职业新机遇

在信息技术飞速发展的今天，程序员群体面临着一个被广泛讨论的话题——35岁危机。这一现象主要源于行业内的快速更新迭代与企业对年轻劳动力的偏好。

2024-07-19 15:35:24 849

原创 LLM 大模型学习必知必会系列(三)：LLM和多模态模型高效推理实践

LLM 会产生误导性的 “幻觉”，依赖的信息可能过时，处理特定知识时效率不高，缺乏专业领域的深度洞察，同时在推理能力上也有所欠缺。正是在这样的背景下，检索增强生成技术（Retrieval-Augmented Generation，RAG）应时而生，成为 AI 时代的一大趋势。

2024-07-19 09:51:05 763

原创 LLM 大模型学习必知必会系列(二)：提示词工程-Prompt Engineering 以及实战闯关

最核心的写一条好 prompt 的原则就是尽可能清晰、明确地表达你的需求（类比产品经理向程序员提需求）。清晰的指令：足够清晰明确地说明你希望模型为你返回什么，最后更加细致地说明需求，避免模糊表达。提供上下文和例子：给出较为充分的上下文信息，让模型更好地理解相关背景。如果能够提供示例，模型能表现更好（类似传统 LLM 中的 in-context learning）。善用符号和语法：使用清晰的标点符号，标题，标记有助于转达意图，并使输出更加容易被解析。

2024-07-19 09:48:11 848

原创 AI时代，如何成为一名优秀的AI产品经理？

面对AI行业的广阔前景，产品经理们需要做的不仅仅是学习技术知识，更重要的是培养行业洞察力、技术应用意识和产品创新思维。通过系统化学习，结合实战经验，才能在AI产品经理的道路上走得更远，把握住这个时代给予的机遇。在这个过程中，寻找高质量的学习资源，与行业内的专家交流，将是加速个人成长的关键。

2024-07-18 16:38:52 791

原创 LLM 大模型学习必知必会系列(一)：大模型基础知识篇

我们通常会看到某模型研发机构开源了 base 模型和 chat 模型，那 base 模型和 chat 模型有什么区别呢？首先，所有的大语言模型（LLM）的工作方式都是接收一些文本，然后预测最有可能出现在其后面的文本。base 模型，也就是基础模型，是在海量不同文本上训练出来的预测后续文本的模型。后续文本未必是对指令和对话的响应。

2024-07-18 16:10:21 565

原创基于LangChain-Chatchat实现的本地知识库的问答应用-快速上手（检索增强生成(RAG)大模型）

一种利用langchain思想实现的基于本地知识库的问答应用，目标期望建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。受的项目和创建的启发，建立了全流程可使用开源模型实现的本地知识库问答应用。本项目的最新版本中通过使用FastChat接入 Vicuna, Alpaca, LLaMA, Koala, RWKV 等模型，依托于langchain框架支持通过基于FastAPI提供的 API用服务，或使用基于Streamlit的 WebUI 进行操作。

2024-07-18 13:59:19 539

原创为什么一线大厂都在高薪抢 AI 产品经理？

不知道你是否听过“移动互联网产品经理”这个说法，当移动互联网成为整个互联网行业的基础建设，深入到各行各业，所有产品经理，其实都是移动互联网产品经理。而近些年，随着 AI 技术逐渐落地和市场认可度的不断提升，AI 产业岗位和泛 AI 产业岗位变得越来越走俏，很多产品经理希望借此风口转型成为“AI 产品经理”，进而拓宽自己的职业道路。还有一些刚刚成为 AI 产品经理的朋友向我诉苦：工作上好多事都搞不清楚，给算法团队提需求时，要沟通好几次，效果也不好，他们肯定没少埋怨我；

2024-06-12 15:54:22 548

原创大模型入门（六）—— RLHF微调大模型

奖励模型是输入一个文本序列，模型给出符合人类偏好的奖励数值，这个奖励数值对于后面的强化学习训练非常重要。构建奖励模型的训练数据一般是同一个数据用不同的语言模型生成结果，然后人工打分。如果是训练自己领域的RLHF模型，也可以尝试用chatgpt打分，效果也不错。

2024-06-12 10:56:02 776

原创大模型入门（五）—— 基于peft微调ChatGLM模型

ChatGLM 是基于 General Language Model (GLM)架构，针对中文问答和对话进行了优化。经过中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术，ChatGLM因为是中文大模型，在中文任务的表现要优于LLaMa，我在一些实体抽取的任务中微调ChatGLM-6B，都取得了很不错的效果。

2024-06-12 10:49:56 889

原创如何成为AI产品经理，踏入高薪不内卷的职场

在当今科技日新月异的背景下，AI产品经理这一岗位逐渐成为职场中的一颗璀璨新星，吸引着众多求职者的目光。然而，对于这个职位的具体要求和工作内容，许多人仍处在一知半解的状态。虽然普遍认知中，，但想要成功踏入这一领域，深入了解其所需的技能、知识结构以及与传统产品经理的区别至关重要。

2024-06-11 18:11:52 1001

原创大模型入门（四）—— 基于peft 微调 LLaMa模型

llama-7b模型大小大约27G，本文在单张/两张 16G V100上基于hugging face的peft库实现了llama-7b的微调。

2024-06-11 14:50:44 781

原创大模型入门（三）—— 大模型的训练方法

随着现在的模型越来越大，训练数据越来越多时，单卡训练要么太慢，要么无法存下整个模型，导致无法训练。当你拥有多张GPU（单机多卡，多机多卡）时，你就可以通过一些并行训练的方式来解决你的问题。常见的并行方法有以下四种：

2024-06-11 14:39:34 822

原创深度学习之文本分类模型-基于transformer

GPT是由openAI提出的一种算法思想\[2\]，其主要思想是通过在大规模的预料上进行模型的训练，然后在特定任务上进行为调。所以其总体思想分为无监督的训练和有监督的微调。

2024-06-10 17:43:20 927

原创大模型入门（三）—— 大模型的训练方法

随着现在的模型越来越大，训练数据越来越多时，单卡训练要么太慢，要么无法存下整个模型，导致无法训练。当你拥有多张GPU（单机多卡，多机多卡）时，你就可以通过一些并行训练的方式来解决你的问题

2024-06-08 21:11:51 477

原创大模型入门（二）—— PEFT

PEFT（Parameter-Efficient Fine-Tuning）是hugging face开源的一个参数高效微调大模型的工具，里面集成了4中微调大模型的方法，可以通过微调少量参数就达到接近微调全量参数的效果，使得在GPU资源不足的情况下也可以微调大模型。

2024-06-07 17:27:28 572

原创聊聊大模型微调训练全流程的思考

在预训练阶段，模型会从大量无标注文本数据集中学习领域/通用知识；其次使用{有监督微调}(SFT)优化模型以更好地遵守特定指令；最后使用对齐技术使LLM更有用更安全的响应用户的提示。

2024-06-06 15:58:14 967

原创生成式AI的力量：它如何彻底改变业务流程自动化

生成式AI是一种可以创建新数据或内容的人工智能，它正在彻底改变业务流程自动化。通过利用生成式人工智能，企业可以简化和增强各种流程，从而提高生产力、效率和创新能力。生成式人工智能在业务自动化方面的主要优势之一是能够加快内容创建速度。利用生成式人工智能，企业可以在数秒内完成高质量的写作，从而减少开发营销文案、技术材料或任何其他书面材料所需的时间和精力。生成式人工智能还可以协助软件开发，生成基本正确的即时代码。这使 IT 和软件企业能够加快开发周期，节省时间和资源。此外，生成式人工智能还可用于改进数据分析和决策。

2024-06-06 15:28:16 1018

原创 TransGNN：Transformer和GNN能互相帮助吗？

GNN是一类用于处理图数据的深度学习模型，能够捕捉节点间的依赖关系。它们在多个领域表现出色，如社交网络分析、物理系统建模、蛋白质接口预测和疾病分类。由于Transformer强大的性能，Transformer模型及其变体已经被广泛应用于各种自然语言处理任务，如机器翻译、文本摘要、问答系统等。

2024-06-05 15:18:57 989

原创大模型系列：大模型tokenizer分词编码算法BPE理论简述和实践

token是大模型处理和生成语言文本的基本单位，在之前介绍的Bert和GPT-2中，都是简单地将中文文本切分为单个汉字字符作为token，而目前`LLaMA`，`ChatGLM`等大模型采用的是基于分词工具`sentencepiece`实现的`BBPE（Byte-level BPE）`分词编码算法，本节介绍BBPE分词编码作为大模型系列的开篇。

2024-06-05 15:09:27 948

原创想转行做大模型？AI产品经理们，先看看这份指南

作为一个产品经理，你可能已经熟悉了一些常见的AI技术和应用，比如机器学习、深度学习、自然语言处理、计算机视觉等。但是，你是否了解什么是大模型？大模型又有什么特点和优势？为什么大模型会成为AI领域的一个重要趋势？如果你想转行做大模型，你需要具备哪些基本素质和技能？你又该如何评估自己是否适合这个领域？大模型是指那些具有超大规模的神经网络模型，它们通常需要海量的数据和计算资源来训练和运行。大模型的典型代表有GPT-3、BERT、AlphaFold等，它们在自然语言处理、生物信息学等领域取得了令人惊叹的成就。

2024-06-04 15:07:18 2096

原创 NER系列：viterbi动态规划在NER中的应用和源码解析

获得句尾的类别后，从后依次往前递推，拿到前词对应的实体类别，获得所有类别序列后将最终结果反转即可获得最终的实体类别序列，viterbi求解过程的代码实现结束。

2024-06-04 10:55:10 744

原创 NER系列：CRF条件随机场原理简介，深入理解CRF源码实现

命名实体识别(Named Entity Recognition，NER)，是指识别文本中**有特定意义的实体**的**边界**和**类别**，所指的实体包括人名、地名、机构名，或者某种具有特定业务含义的词组等，NER的目标是识别出这些特定词组在文本中的位置，并且给该位置下的词组标记出正确的实体业务含义类别。

2024-06-04 10:43:52 568

原创产品经理用AI，跟普通人有什么不同？

AI发展至今，不少从业者都把AI工具融入到自己的工作、生活中。但与多数人不一样的是，互联网从业者的使用方法，明显与其他人有所不同，特别是产品经理。这篇文章，我们就来分析一下其中差异。最近跟一个产品经理朋友聊天，他们公司最近单独拉一个只有产品经理的 team，要在接下来半年把过去几年火过的产品工具，“加上 AI 驱动”重新做一遍。

2024-06-03 17:41:36 926

原创 Bert系列：基于Bert微调快速实现多标签文本分类

文本分类是指对形如文章，新闻，舆情，评论，用户输入的词条等自然语言文本数据，根据某个业务维度进行自动归类的技术。多标签分类是指文本可以被归类为一种或者多种不同的类目下，同一个文本实例可以有多个类别标签。相比于多元分类（文本只能归属于一类），多标签文本分类在实际的场景中更为常见

2024-06-03 16:41:20 1191

原创 Bert系列：基于Huggingface预训练模型微调，实现中文实体链接分类

transformers框架提供了基于预训练模型进行算法开发的标准流程范式，提供了统一的API，包括调用各种预训练模型，文本编码，数据转换抽取，模型搭建，训练测试评价等，使得代码开发更加高效和标准化。

2024-06-03 16:37:48 854

原创【小白必看】AI大模型入门级教程（详细）【通俗易懂】

AI大模型，也就是我们常说的“大模型”，是指那些使用了大量数据和强大的计算能力进行训练的人工智能模型。这些模型通常具有非常高的准确性和广泛的应用能力，可以应用于各种领域，比如自然语言处理、图像识别、语音识别等。它们就像是超级智能助手，能够帮助我们解决各种复杂的问题。

2024-05-31 21:15:13 445

原创 Bert系列：Bert源码分析，MRPC文本分类任务微调

MPRC的学习目标是给定两个句子，判断这两个句子是否说的是一个意思，相当于输入一对句子做二分类。样例数据如下第一列代表y值，1意思相同，2意思不同，后面分别是句子1的id，句子2的id，句子1的内容，句子2的内容。相当于输入一对句子给模型，而Bert的预训练部分也是输入也是一对句子，两者输入基本相同，预训练基于输入无监督学习语义知识，微调部分基于输入迁移预训练的模型参数去做分类。从网络上下载预训练模型。

2024-05-31 20:04:46 926

原创 Bert系列：Bert、Transformer、预训练模型、微调简单入门介绍

**Bert**是2018年10月由**Google AI**研究院提出的一种预训练模型。BERT的全称是Bidirectional Encoder Representation from Transformers，即**基于Transformer的双向编码表征**算法，Bert在提出之初在各大NLP任务中刷新了性能表现记录，被认为是自然语言处理领域的一个里程碑。

2024-05-31 20:01:37 506

原创看完这篇人人都能成为大模型应用产品经理！

大部分产品经理对大语言模型技术的能力并不足够了解，例如，他们可能会认为产品需要专注于某些垂直领域（场景），但对于大语言模型来说，只是专注某些垂直领域是完全错误的策略，因为大语言模型自身的优势就在于它的通用性。一年的惊艳热闹下来，「结合大模型的创新应用探索」并毫无意外受挫，因为大模型带来的，首先是大的交互范式变革，然后才是具体的产品设计思路，交互体验，开发模式等等——这一切都要重新思考和探索，但首先需要理解并思考范式变革，消化底层模型的能力，一边提升认知，一边想着怎么跟业务深度融合。还有什么是我可以做的？

2024-05-30 21:23:28 1077

空空如也

空空如也