关于为什么有了通用LLM，却还需要特定领域LLM？-对此问题做出回答的相关理论和文章（持续更新ing...）

已于 2023-06-27 16:18:20 修改
阅读量469 收藏
点赞数
分类专栏： 人工智能学习笔记 文章标签： bert 预训练语言模型 深度学习 人工智能 自然语言处理
于 2022-09-20 13:48:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/PolarisRisingWar/article/details/126951385
版权

诸神缄默不语-个人CSDN博文目录

一开始其实只关注Bert，但是后来感觉应该扩展到所有LLM上，所以连标题都改了

最近更新时间：2023.6.27
最早更新时间：2022.9.20

文章目录

1. 理论

  1. (2020 ACL) Re26：读论文 Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks：大致是说LLM在通用域上预训练之后，在领域和任务上再继续预训练会提升模型效果。理论似乎提的不多，反正就是用实验证明了这么干是有用的

1.1 空间论

不同类型的语料所覆盖的空间会不一样，训练出来的模型理论上应该是对训练集所覆盖的空间的测试集的泛化效果更好，而如果你用的是特定语料的LLM，但是你想测试其他领域的余料的话，它的泛化性就会弱。

1.2 知识论

预训练语言模型能学习到语料中的知识，而通用语料缺乏特定领域的知识，因此直接用通用LLM难以解决需要专业知识的特定领域的问题。
（可以参考：LawBERT: Towards a Legal Domain-Specific BERT? | by Erin Zhang | Towards Data Science）

2. 典型的特定领域LLM

生物医学：BioBERT
科学出版物：SciBERT
金融：FinBERT, GloomBertGPT
医学：ClinicalBERT
法律：LegalAI领域大规模预训练语言模型的整理、总结及介绍（持续更新ing…）

诸神缄默不语
关注
专栏目录
【ChatGPT核心原理实战】手动求解 Transformer：分步数学示例 | Solving Transformer by Hand: A Step-by-Step Math Example
AI天才研究院
12-22 3079
手动求解 Transformer：分步数学示例Understanding Transformers: A Step-by-Step Math Example — Part 1了解 Transformer：分步数学示例 — 第 1 部分I understand that the transformer architecture may seem scary, and you might have encountered various explanations on…我知道变压器架构可能看起来很可怕，并且
【学习记录】金融垂直领域LLM
LZXCyrus的博客
10-30 1269
本文主要记录开源的金融LLM，还有对金融垂直领域LLM和通用LLM的一些思考。
LLM的理论古往今来（持续更新ing...）
诸神缄默不语的博客
06-07 1568
本文介绍LLM的SOTA
探秘 Awesome Domain LLM：强大的语义理解与生成工具
gitblog_00059的博客
03-25 398
探秘 Awesome Domain LLM：强大的语义理解与生成工具 Awesome-Domain-LLM收集和梳理垂直领域的开源模型、数据集及评测基准。项目地址:https://gitcode.com/gh_mirrors/aw/Awesome-Domain-LLM 是一个令人瞩目的自然语言处理项目，它利用先进的预训练模型，为开发者和研究人员提供了一种高效、精准的语义理解和文本生成能力。本文将...
LLM综述全新出炉：51页论文带你盘点LLM领域专业化技术
zenRRan的博客
07-16 591
来自：机器之心进NLP群—>加入大模型与NLP交流群本文提供了关于大型语言模型领域专业化技术的全面概览，这是大型语言模型应用的一个关键的新兴方向。大语言模型（LLMs）在自然语言处理（NLP）领域取得了显著的进步，为广泛的应用提供了一种非常有用的、与任务无关的基础。然而，直接应用 LLMs 去解决特定领域的复杂问题会遇到许多障碍，这些障碍源于领域数据的异质性、领域知识的复杂性、领域目标的独特...
LLMs之FLM-101B：《FLM-101B: An Open LLM and How to Train It with $100K Budget一个开放的LLM和如何用10万美元的预算训练训它》翻
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
09-26 2457
​ LLM之FLM-101B：《FLM-101B: An Open LLM and How to Train It with $100K Budget一个开放的LLM和如何用10万美元的预算训练训它》翻译与解读 目录 《FLM-101B: An Open LLM and How to Train It with $100K Budget》翻译与解读 Abstract摘要 1 Introduction引言 2 Design Overview of FLM-101B—FLM-1
LLM Prompt Technique 论文精读-1
Zeeland的博客
07-04 1526
语言模型（LMs）展示了在规模上仅仅通过少量示例或文本指令就能解决新任务的非凡能力。然而，令人矛盾的是，它们在基本功能上却表现出困难，比如算术或事实查找，而更简单、更小的模型却擅长这些。在本文中，我们展示了LMs可以通过简单的API自学使用外部工具，并实现两者的最佳结合。我们引入了Toolformer，一个经过训练的模型，用于决定调用哪些API、何时调用它们、传递什么参数以及如何最好地将结果融入未来的标记预测中。这是以自监督的方式完成的，仅需要每个API的少量演示。
LLM高效参数微调方法：从Prefix Tuning、Prompt Tuning、P-Tuning V1/V2到LoRA、QLoRA(含对模型量化的解释)
结构之法 算法之道
08-05 1万+
常规部分的正向传播由transformers所定义，而LoRA部分的正向传播则由LinearLayer_LoRA(nn.Module)的forward()所定义，即“LoRA层的两条分支结果进行加和”，如下图所示『一般用随机高斯分布初始化，当然实际代码实现时，比如微软的deepspeed chat在用到LoRA时，一开始通过0矩阵占位，然后调用搭配ReLU激活函数的kaiming均匀分布初始化。，相当于在训练期间，较小的权重矩阵(下图中的A和B)是分开的，但一旦训练完成，权重可以合并到一个新权重矩阵中。
【LLM】吴恩达『微调大模型』课程完全笔记
youcans的博客
06-15 1486
『Finetuning Large Language Models』是DeepLearning.AI出品的免费课程，版权属于DeepLearning.AI(https://www.deeplearning.ai/)。 本文是对该课程内容的翻译整理，只作为教育用途，不作为任何商业用途。
从 RAG 到 Self-RAG —— LLM 的知识增强
最新发布
python12345_的博客
07-13 797
事实上这种 LLM 主动使用工具并进行判断的方式并非 Self-RAG 首创，在此之前的 AutoGPT, Toolformer 和 Graph-Toolformer 中早已有之，而且支持多种 API 调用。针对 graph reasoning 任务设计少量 API Call 样本基于 ChatGPT 对 prompt 进行 augmentation使用现有 pre-train LLM 进行模型 fine-tuning。
AgentOhana：打造统一数据和训练管道，提升智能体学习效果
qq_52053775的博客
07-06 109
近年来，大型语言模型（LLMs）在多个领域，如代码生成、数学推理、对话式人工智能及AI智能体等，已展现出卓越的能力。此类模型，例如OpenAI的GPT-4，在处理复杂任务及长时间推理时表现突出，因此吸引了广泛的研究关注与开源社区的兴趣。为支持智能体任务，已有多项框架（如AutoGPT、OpenAgent、BOLAA、XAgent、LangChain）被设计并获得了显著关注。然而，值得注意的是，许多现有的智能体仍依赖于封闭源码的LLM API，这主要源于大多数开源模型在应对复杂智能体任务时表现不佳。
SentencePiece：pieces、字节编码、Unicode字符【LLaMA-7b的分词器共32002个piece】【Chinese-LLaMA-Alpaca中文分词器共20000个piece】
u013250861的博客
08-12 1367
SentencePiece：pieces、字节编码、Unicode字符【LLaMA-7b的分词器共32002个piece】【Chinese-LLaMA-Alpaca中文分词器共20000个piece】
Math VISTA：多模态大模型之视觉上下文条件下的数学推理能力评估
pku_langzi的博客
10-29 631
引入了一个数学推理能力的评测集MATH Vista，包含七种数学推理类型，五个主要任务，31个子数据集，并且在LLM，visual augmented LLM，开源LMM，以及两个专有 LMM（即 GPT-4V、Bard）展开了广泛的评测（人类表现60.3%）
【智能家居-大模型】一文搞懂ChatGPT相关概念和区别：GPT、大模型、AIGC、LLM、Transformer、羊驼、LangChain…..
wangbotao1990的专栏
09-21 728
同样，"man" 和 "woman" 的词向量也会非常接近，因为他们都代表性别。Diffusion算法针对任意噪声图片去噪后得到的图片是不可控的，如果让Diffusion算法能够接受文字的提示从而生成想要的图片，这就是当下AIGC的另一个大热点，AI绘画：只输入文字描述，即可自动生成各种图像，其核心算法-Stable Diffusion，就是上面提到的文字到图片的多模态算法CLIP和图像生成算法DIffusion的结合体，CLIP就是作为作为文字提示用的，进而对DIffusion施加影响生成所需的图片。
TensorFlow安装教程
热门推荐
诸神缄默不语的博客
05-28 6万+
本文介绍TensorFlow在Linux系统上的安装方法。
cs224w（图机器学习）2021冬季课程学习笔记集合
诸神缄默不语的博客
05-26 5万+
我自己写的cs224w（图机器学习）2021冬季课程笔记的目录
huggingface.transformers安装教程
诸神缄默不语的博客
02-28 4万+
本部分介绍transformers包如何安装，安装后如何检验是否安装成功，以及cache的设置和离线模式如何操作。
60分钟闪击速成PyTorch（Deep Learning with PyTorch: A 60 Minute Blitz）学习笔记
诸神缄默不语的博客
04-24 3万+
PyTorch官方教程：60分钟闪击速成PyTorch（Deep Learning with PyTorch: A 60 Minute Blitz）的学习笔记。
NetworkX入门教程
诸神缄默不语的博客
05-28 2万+
NetworkX入门教程 NetworkX：Python处理图数据的包
TensorRT-LLM部署大模型：实战教程与优化流程分析
6. **代码实践**: 作为课程资源的一部分，压缩包中的TensorRT-LLM-ChatGLM3-main文件夹包含了源代码和相关脚本，供学习者直接操作和实践。通过实际编码，学习者能够更深入地理解TensorRT-LLM的工作机制以及如何应用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

诸神缄默不语

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值