【全网首发】大模型入门、概念详解、综述

已于 2024-05-12 19:11:00 修改
阅读量1k 收藏 12
点赞数 25
分类专栏： 大模型 文章标签： 自然语言处理 人工智能
于 2024-05-12 18:39:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43457608/article/details/138762355
版权

大模型教程

注

多数文章博主已经读完，有中文笔记、代码、私信博主领取也可以相互交流学习。笔记写在flowus中会逐渐迁移到博客。

NLP入门、大模型入门、NLP发展、NLP四范式、综述

下面这两篇文章总结的非常到位，只想入门的小伙伴大力推荐

  • A Survey of Large Language Models（github中文版地址：https://github.com/RUCAIBox/LLMSurvey/blob/main/assets/LLM_Survey_Chinese.pdf）
  • Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing（知乎有人翻译为中文，因为是入门文章看
最低0.47元/天 解锁文章
半度、
关注
  • 25
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
40.全网首发Python图像分割万字详解.pdf
03-31
40.全网首发Python图像分割万字详解（阈值分割、边缘分割、纹理分割、分水岭算法、K-Means分割、漫水填充分割、区域定位）
大模型训练和推理
weixin_45325331的博客
02-27 1655
大模型训练moe是指混合专家（Mixture-of-experts，简称MoE）的，这是一种用于提高大型神经网络性能的技术，它可以将模型的一部分替换为多个专家，每个专家只负责处理一部分输入数据，从而增加模型的参数量和表达能力，同时减少计算量和训练时间。指令可以作为模型的输入的一部分，也可以作为模型的输出的一部分，具体取决于任务的类型。上下文扩展技术的，这是一种用于提高大型语言模型（LLM）对长文本的处理能力的技术，它可以让模型在不增加参数量的情况下，扩展其注意力范围，从而提高模型的语言理解和生成能力。
大型语言模型相关应用详解
08-03
语言模型的基本概念和原理，并探讨其在各个领域的应用。 大型语言模型的本质是一种自然语言处理技术，它使用深度学习 算法对大量的语言数据进行训练，从而得到一个能够理解自然语言的 模型。大型语言模型的训练过程...
langchain Prompt大语言模型使用技巧详解
08-03
prompts是大语言模型的输入，他是基于大语言模型应用的利器。...这篇文章主要为大家介绍了langchain Prompt大语言模型使用技巧详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
大语言模型文本生成详解.docx
08-09
大语言模型文本生成详解
大语言模型机器翻译详解.docx
08-09
大语言模型机器翻译详解
自然语言处理（NLP）—— 置信度（Confidence）
weixin_65190179的博客
06-01 883
置信度（Confidence）在机器学习和统计中通常指一个模型对其做出的预测是正确的确信程度。在分类任务中，置信度通常由模型赋予特定类别的概率值来表示。例如，在文本分类或实体识别任务中，模型可能预测一个单词是一个特定实体的类别（比如人名），并给出这个预测是正确的概率，这个概率就是置信度。
讲解如何使用RAG（检索增强生成）和LLM（大语言模型）来构建一个法律咨询网站。
Winfredzhang的博客
06-02 788
文档预处理：将法律文档转化为向量，存储在Faiss向量数据库中。文档检索：根据用户问题检索相关文档。提取重要段落：从相关文档中提取与用户问题相关的重要段落。生成答案：使用OpenAI的GPT-4生成详细回答。前后端构建：使用Flask构建后端API，用HTML和JavaScript构建简单的前端页面。通过这些步骤，即使是初学者也能逐步理解和实现一个利用RAG+LLM技术的法律咨询网站。
【LLM】两篇多模态LLM综述MultiModal Large Language Models
发现问题，并解决问题，批判性思维
06-02 1242
note （一）现有的 MM-LLM 的趋势： (1)从专门强调 MM 理解对特定模态的生成的进展，并进一步演变为任何到任何模态的转换（例如，MiniGPT-4 → MiniGPT-5 → NExT-GPT）； (2) 从 MM PT 提升到 SFT，然后到 RLHF，训练管道进行连续细化，努力更好地与人类意图对齐并提高模型的会话交互能力（例如，BLIP-2 → InstructBLIP →DRESS）； (3) 实施多样化模态扩展（例如，BLIP-2 → X-LLM 和 InstructBLIP→X-In
自然语言处理学习路线
qq_51175703的博客
05-31 722
NLP学习路线
德克萨斯大学奥斯汀分校自然语言处理硕士课程汉化版(第五周) - Transformer
Talk is cheap. Show me the code
06-02 1142
在语言建模中，注意力(attention)是一个关键机制，用于在给定上下文中访问相关信息以进行预测。注意力机制允许模型根据输入上下文中的重要信息来加权关注不同的部分，并根据其重要性来决定对不同部分的关注程度。例如，对于一个给定的输入句子，语言模型可以使用注意力机制来确定在生成下一个单词时应该关注句子中的哪些部分。当模型预测下一个单词时，它可以根据输入句子中不同位置的单词的重要性来调整注意力权重。这意味着模型可以更有针对性地关注与当前预测相关的上下文信息，而不是简单地平均考虑整个句子。
创新实训2024.06.02日志：SSE、流式输出以及基于MTPE技术的MT-SSE技术
lyh20021209的博客
06-02 799
之所以要做SSE，是因为在开发、调试以及使用我们开发的软件时，我发现消息的响应时间会很长。之所以会这样最主要的原因是，MTPE这项基于CoT的技术，本质上是多对大模型生成回答的能力进行增强。多步提示工程就延长了大模型思考、整理、融合检索到的知识的时间（也就是说我们。
基于BERT+LSTM+CRF深度学习识别模型医疗知识图谱问答可视化系统
zgw555555的专栏
06-02 544
该系统通过构建医疗领域的知识图谱，结合BERT+LSTM+CRF深度学习模型，实现对医疗领域文本信息的深度理解和自动问答。系统采用Python技术进行数据爬取和知识图谱的搭建，并通过echarts、Neo4j等工具实现知识图谱的可视化。Django框架用于web网页的开发，为用户提供直观的医疗问答服务。BERT模型。
探索零阶优化：在语言模型提示优化中的应用与原理【初步理解】
qq_22841387的博客
05-29 767
零阶优化（Zero-Order Optimization）是一种优化方法，用于在没有显式梯度信息的情况下优化目标函数。与常见的梯度下降法不同，零阶优化不依赖于目标函数的梯度，而是通过直接评估目标函数值来引导优化过程。这种方法特别适用于那些目标函数不可导、复杂或未知的情况。
论文阅读- CycleFormer : TSP Solver Based on Language Modeling
hzlalb的博客
06-05 647
A: 这篇论文提出了一个名为CycleFormer的新型Transformer模型，专门用于解决旅行商问题（TSP）。问题背景：介绍了旅行商问题（TSP）及其在计算机科学中作为NP-hard问题的代表性，同时概述了传统解决方法，包括启发式算法和早期的深度学习尝试。CycleFormer模型：提出了一个新的Transformer模型，专为TSP设计。该模型考虑了TSP独特的特点，如无限和动态的token集合，以及解的循环性质。主要贡献。
大语言模型技术系列讲解：大模型应用了哪些技术
python122_的博客
05-31 1301
为了弄懂大语言模型原理和技术细节，笔者计划展开系列学习，并将所学内容从简单到复杂的过程给大家做分享，希望能够体系化的认识大模型技术的内涵。本篇文章作为第一讲，先列出大模型使用到了哪些技术，目的在于对大模型使用的技术有个整体认知。后续我们讲一一详细讲解这些技术概念并解剖其背后原理。大语言模型（LLMs）在人工智能领域通常指的是参数量巨大、能够处理复杂任务的深度学习模型。大模型通常是深度神经网络的一种，具有多层结构，能够学习数据的复杂表示。
大型语言模型智能体（LLM Agent）在实际使用的五大问题
weixin_41496173的博客
06-05 676
解决将大型语言模型智能体（LLM Agent）在实际使用的五大问题
LLM大语言模型（十六）：最新开源 GLM4-9B 本地部署，带不动，根本带不动
最新发布
hugo_lei的博客
06-05 938
GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。 在语义、数学、推理、代码和知识等多方面的数据集测评中，GLM-4-9B及其人类偏好对齐的版本GLM-4-9B-Chat均表现出超越 Llama-3-8B 的卓越性能。
【自然语言处理】【Scaling Law】Observational Scaling Laws：跨不同模型构建Scaling Law
bqw的博客
06-02 1190
Scaling Law能够建立模型规模和效果的联系，但是需要跨不同尺寸来训练模型；本文提出的observational scaling law跳过模型训练的过程，而是从80个公开模型上建立scaling law；从多个模型族中构建scaling law非常有挑战，因为训练的计算代码和能力都在变化。然而，本文展示了这些变化普通的scaling law一致，语言模型的效果是低维能力空间的函数，而模型族的变化仅在将训练计算量转换为能力的效果上不同。
大语言模型的微调过程详解
05-22
大语言模型的微调过程，是指利用预训练好的模型在特定的任务上进行微调，以提高模型在该任务上的性能。下面是大语言模型微调的详细过程： 1. 准备数据集：首先需要准备与目标任务相关的数据集。该数据集应该包含足够的样本，以便能够覆盖各种情况，从而让模型能够学习到任务的不同方面。 2. 加载预训练模型：在微调之前，需要加载预训练好的模型。这个预训练模型通常是在大规模数据集上训练而成，如BERT、GPT等。 3. 构建任务特定的网络结构：在加载预训练模型后，需要在其之上构建任务特定的网络结构，以便模型能够处理特定的任务。这个网络结构通常是一个全连接层或者一个分类器。 4. 进行微调：将数据集输入到网络中，对网络进行微调。微调的过程中，需要根据数据集的特点和目标任务的要求，对网络进行调整和优化。例如，在情感分析任务中，可以使用交叉熵损失函数来训练模型。 5. 评估性能：微调完成后，需要对模型进行评估。通常使用准确率、F1值等指标来评估模型性能。 6. 重复步骤4和5：如果模型性能不足，则需要重复步骤4和5，进行更多次的微调和评估，直到达到满意的性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值