书生·浦语大模型实战营第二课

内容简介：第二节课的内容是运行官方demo，从这节课中学到了很多知识。

1.1大模型介绍

 大模型通常指的是机器学习或人工智能领域中参数数量巨大、拥有庞大计算能力和参数规模的模型。这些模型利用大量数据进行训练，并且拥有数十亿甚至数千亿个参数。大模型的出现和发展得益于增长的数据量、计算能力的提升以及算法优化等因素。这些模型在各种任务中展现出惊人的性能，比如自然语言处理、计算机视觉、语音识别等。这种模型通常采用深度神经网络结构，如 Transformer、BERT、GPT（ Generative Pre-trained Transformer ）等。

1.2大模型的优势

大模型的优势在于其能够捕捉和理解数据中更为复杂、抽象的特征和关系。通过大规模参数的学习，它们可以提高在各种任务上的泛化能力，并在未经过大量特定领域数据训练的情况下实现较好的表现。然而，大模型也面临着一些挑战，比如巨大的计算资源需求、高昂的训练成本、对大规模数据的依赖以及模型的可解释性等问题。因此，大模型的应用和发展也需要在性能、成本和道德等多个方面进行权衡和考量。

1.3Inernlm官方提供的高质量框架链条

InternLM 是一个开源的轻量级训练框架，旨在支持大模型训练而无需大量的依赖。通过单一的代码库，它支持在拥有数千个 GPU 的大型集群上进行预训练，并在单个 GPU 上进行微调，同时实现了卓越的性能优化。在 1024 个 GPU 上训练时，InternLM 可以实现近 90% 的加速效率。

  基于 InternLM 训练框架，上海人工智能实验室已经发布了两个开源的预训练模型：InternLM-7B 和 InternLM-20B。

  Lagent 是一个轻量级、开源的基于大语言模型的智能体（agent）框架，支持用户快速地将一个大语言模型转变为多种类型的智能体，并提供了一些典型工具为大语言模型赋能。通过 Lagent 框架可以更好的发挥 InternLM 的全部性能。

2.环境与网络配置

1.之前环境配置都是直接-r requirements.txt。第一次了解到clone的方法，学到了学到了。

2.在下载hugging face的模型时是会因为网络问题报错的，可以选择使用镜像下载。

export HF_ENDPOINT=https://hf-mirror.com

3.服务器部署模型本地电脑访问的方法：

首先要服务器与本地电脑建立连接，在服务器部署好模型后，通过

ssh -CNg -L xxxx:127.0.0.1:xxxx 用户名@ip -p xxxx（端口）

类似的命令申请访问服务器端口实现。

3.具体操作内容

参考：Wiki

源码地址：tutorial/helloworld/hello_world.md at main · InternLM/tutorial (github.com)