第二课堂笔记

一、大语言模型

定义与背景

大语言模型，通常指的是那些拥有亿级乃至万亿级参数的深度学习模型，它们在自然语言处理、图像识别、语音识别等领域展现出了前所未有的性能。这些模型的核心在于其规模——更多的参数意味着模型可以学习到更复杂的语言结构和语境，从而实现更自然、更精准的交互和生成任务。

大语言模型：技术框架

当前国内外主流的大语言模型都是基于Transformer架构的。自从2017年Vaswani等人提出Transformer模型以来，由于其并行处理能力、长距离依赖捕捉能力以及独特的自注意力机制，Transformer已经成为自然语言处理（NLP）领域特别是大语言模型中的主导架构。

代表性的大语言模型，如GPT系列（GPT-3、GPT-4）、BERT系列（BERT、RoBERTa）、通义千问（Qwen）、文心一言（ERNIE）等，均采用了Transformer架构，并通过大规模预训练和特定任务的微调，在各种NLP任务上展现了卓越的性能。这表明，无论是在研究领域还是工业界，Transformer架构已成为推动自然语言处理技术进步的关键因素。

二、准备工作

注册云算力平台：

https://growthdata.virtaicloud.com/t/NA

part1

创建项目，选择B1.medium规格服务器

选择CUDA12.1 PyTorch2.1.1的镜像

在模型中搜索Qwen2-0.5B-Instruct

点击启动后，进入环境。
在/gemini/code中存放代码，/gemini/pretrain中是我们挂载的模型

part2

不选B1.small,选B1.medium，镜像和数据集选择完毕之后，点击"立即启动"

进入环境后在网页终端输入以下命令：

tar xf /gemini/data-1/stable-diffusion-webui.tar -C /gemini/code/ 

chmod +x /root/miniconda3/lib/python3.10/site-packages/gradio/frpc_linux_amd64_v0.2

cd /stable-diffusion-webui && python launch.py --deepdanbooru --share --xformers --listen

开设端口7860，端口用途随便写