大型语言模型理论简介
定义和特点:大语言模型是指那些在大量文本数据上进行训练、包含数十亿甚至数千亿参数的语言模型。例如,GPT-3、PaLM和LLaMA等都是典型的例子。这些模型通过预训练和微调的方法来提高其性能,使其能够在各种自然语言处理任务中表现出色。能够处理海量文本,多数具有数百亿参数,理解语言深度,展现涌现能力。
模型大小与性能关系:与小模型构架相似,但参数量级提升带来解决复杂任务的显著优势。
Transformer是它们的基本机制,是一种用于自然语言处理(NLP)和其他序列到序列任务的深度学习模型架构。它通过引入自注意力机制(self-attention mechanism),能够聚焦于输入序列中的重要部分,类似人类阅读,能够并行处理输入数据,从而显著提升计算效率和性能。
原理:Transformer通过将输入的序列分解成一个一个的Token(类似于单词或字符),并分别对每个token应用注意力机制,能够并行的处理每个序列实现高效输出。
大型语言模型需要token输出输入,原因是计算机不能理解文本,通过分词器将文本转换为对应的数字,形成不同的token,最后将形成Token ID,这个过程叫编码。
常见的LLM:
闭源的如GPT模型(chatGPT-4的性能远超chatGPT-3的,支持多模态输入)
大模型的构建
驱动云
点击创建项目
设置配置后,点击立即启动。
点击开发者环境。就可以创建自己的大模型。(开发环境仅 /gemini/code/ 是持久化目录,输出到 $GEMINI_DATAOUT
目录下的训练结果在开发环境重启后会丢失,仅适合调试时短暂使用。)
镜像
平台中的镜像指 “Docker镜像”,在平台中镜像用于为 AI 模型调试和训练提供环境,这个环境就是指内置了部分 AI 研发所需工具的操作系统。当提交训练或提交开发环境初始化任务时,平台会根据任务关联的镜像,将其打包的操作系统运行在容器中供您调试和训练使用。
目前平台提供了开箱即用的官方镜像,同时也提供了基于官方镜像制作私有镜像的能力,暂不支持上传镜像。
Docker 镜像是由多层镜像叠加而成,镜像层数可能会很多,每层镜像针对不同的目的有其独立的能力和变更,上层变更覆盖下层但不会修改下层镜像本身,因此镜像层可被多个容器共享,Docker 镜像总大小为所有镜像层的镜像大小总和。
Stable Diffusion
一种生成图像的大模型,具有稳定性高,生成速度快的特点。
组成:文本编码器:将文本输入转换为向量表示,以便于模型理解生成图片。
图像解码器:将向量转换为图片,生成特定风格的图片。
噪音预测器:预测图片中的噪音,以便于模型更好的控制图片的质量。
stable diffusion的应用
可以用于艺术创作、电影特效、游戏开发等创意产业,也可以应用于科学研究和工程设计中。