大模型笔记

LLM的概念：

1.定义和特点：处理海量文本，理解语言深度，展现涌现力量

2.模型大小和性能的关系：与小模型架构相似，但参数量级提升带来解决复杂问题的显著优势

3.国内外代表：GPT,LLaMA,文心一言

4.应用示例：ChatGPT是LLm对话的典范

核心是注意力机制：通过注意力机制，Transform能够聚焦于输出序列中的重要部分，类似于人类阅读时关注关键词

通过将输入序列分解为一个个独立的token，并对每个token应用注意力机制，从而能够并行处理整个序列，实现高效且精确的输出

LLM的能力：

具有上下文学习，指令遵循和逐步推理能力，使其成为解决复杂问题和应用多领域的强大工具

基座模型是预训练的AI技术范式，通过大模型统一处理多任务，提高研发效率，减少人力，增强应用效果

推动了对话式AI发展，预示未来智能体应用新趋势

LLM的特点：

规模巨大，能捕获复杂结构语言

预训练和微调机制

上下文感知能力

LLLM被视为AGI的早期形态，它展示了机器学习更高级别抽象概念和推理能力的潜力

LLM引发对AGI的深入研究，可能开启新的应用领域，如智能助手，自主决策系统等

Stable Diffusion的主要组成部分：

文本编码器，图像解码器，噪声预测器

Stable Diffusion在训练中表现较高的稳定性，且具有较快啊的速度，能够生成高质量的图片

训练需要大量的时间和计算资源，需要进行多代迭代推理，导致生成样本的速度较慢，对硬件要求较高

创建项目，选择B1.medium规格服务器

选择CUDA12.1 PyTorch2.1.1的镜像

在模型中搜索Qwen2-0.5B-Instruct

点击启动后，进入环境。​
在/gemini/code中存放代码

在本地解压大模型应用.zip，得到5个文件，进入/gemini/code目录，将文件拖入窗口完成上传

镜像和数据集选择完毕之后，点击 "立即启动"

进入环境后在网页终端输入以下命令：​
​
tar xf /gemini/data-1/stable-diffusion-webui.tar -C /gemini/code/ ​
chmod +x /root/miniconda3/lib/python3.10/site-packages/gradio/frpc_linux_amd64_v0.2​
cd /stable-diffusion-webui && python launch.py --deepdanbooru --share --xformers --listen​

开设端口7860，端口用途随便写
​