丹摩DAMODEL超算平台 | 搭建Llama3.1深入体验

已于 2024-09-18 13:53:59 修改
阅读量2.7k 收藏 35
点赞数 84
文章标签： 丹摩DAMODEL AI AI云平台
于 2024-09-18 12:45:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_62765017/article/details/142330070
版权

丹摩DAMODEL超算平台 | 搭建Llama3.1深入体验

文章目录

    • 丹摩DAMODEL超算平台 | 搭建Llama3.1深入体验
      • 丹摩超算平台Llama3.1-部署与使用
      • 本地连接使用DAMODEL方法
      • 使用体验与总结

在这里插入图片描述

DAMODEL丹摩超算平台专为AI打造的智算云平台，致力于提供丰富的算力资源与基础设施，以助力AI应用的开发、训练、部署

  • 丰富的算力资源：提供CPU/GPU算力集群、CPU/GPU裸金属服务以及高性能存储等三大类产品，满足用户在不同场景下算力需求
  • 高性能计算服务：平台在计算节点之间以及计算节点与存储节点之间均采用IB网络，提供高并发、高性能的存储服务，避免网络及存储性能瓶颈，使算力节点性能得到最充分的发挥
  • 多样化的开发环境：DAMODEL平台支持TensorFlow、PyTorch、Caffe等主流工具和框架，帮助用户构建和训练各种类型的人工智能模型：图像识别、语音识别、自然语言处理等

丹摩超算平台Llama3.1-部署与使用

Llama 3.1开源大语言模型，广泛应用于从本地到云端的各类场景

1、创建实例
在这里插入图片描述

2、按量计费-包日-包月可以根据使用频率选择（LLaMA3.1 8B 版本至少需要GPU显存16G）

在这里插入图片描述

3、镜像框架选择PyTorch 2.4.0

在这里插入图片描述

4、为保证安全登录，创建密钥对，输入自定义的名称，然后选择自动创建并将创建好的私钥保存的自己电脑中并将后缀改为.pem，以便后续本地连接使用

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

5、立即创建即可成功创建

在这里插入图片描述

6、JupyterLab在线访问实例的 JupyterLab 入口

在这里插入图片描述

JupyterLab 界面

在这里插入图片描述

7、部署LLama3.1

conda 管理环境

conda create -n llama3 python=3.12

在这里插入图片描述

8、环境创建好后，使用如下命令切换到新创建的环境

conda activate llama3

在这里插入图片描述

9、安装部署LLama3.1需要的依赖

pip install langchain==0.1.15
pip install streamlit==1.36.0
pip install transformers==4.44.0
pip install accelerate==0.32.1

在这里插入图片描述

10、下载 Llama-3.1-8B 模型，内网高速下载

wget http://file.s3/damodel-openfile/Llama3/Llama-3.1-8B-Instruct.tar

在这里插入图片描述

11、下载完成后解压缩/Llama-3.1-8B-Instruct.tar

tar -xf Llama-3.1-8B-Instruct.tar

在这里插入图片描述

12、新建 llamaBot.py 文件并在其中输入以下内容

  • vim llamaBot.py
  • 进入文件夹按i编辑
  • ：wq保持退出
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
import streamlit as st

# 创建一个标题和一个副标题
st.title("💬 LLaMA3.1 Chatbot")
st.caption("🚀 A streamlit chatbot powered by Self-LLM")

# 定义模型路径
mode_name_or_path = '/root/shared-storage/Llama-3.1-8B-Instruct'

# 定义一个函数，用于获取模型和tokenizer
@st.cache_resource
def get_model():
    # 从预训练的模型中获取tokenizer
    tokenizer = AutoTokenizer.from_pretrained(mode_name_or_path, trust_remote_code=True)
    tokenizer.pad_token = tokenizer.eos_token
    # 从预训练的模型中获取模型，并设置模型参数
    model = AutoModelForCausalLM.from_pretrained(mode_name_or_path, torch_dtype=torch.bfloat16).cuda()
  
    return tokenizer, model

# 加载LLaMA3的model和tokenizer
tokenizer, model = get_model()

# 如果session_state中没有"messages"，则创建一个包含默认消息的列表
if "messages" not in st.session_state:
    st.session_state["messages"] = []

# 遍历session_state中的所有消息，并显示在聊天界面上
for msg in st.session_state.messages:
    st.chat_message(msg["role"]).write(msg["content"])

# 如果用户在聊天输入框中输入了内容，则执行以下操作
if prompt := st.chat_input():
    
    # 在聊天界面上显示用户的输入
    st.chat_message("user").write(prompt)
    
    # 将用户输入添加到session_state中的messages列表中
    st.session_state.messages.append({"role": "user", "content": prompt})

    # 将对话输入模型，获得返回
    input_ids = tokenizer.apply_chat_template(st.session_state["messages"],tokenize=False,add_generation_prompt=True)
    model_inputs = tokenizer([input_ids], return_tensors="pt").to('cuda')
    generated_ids = model.generate(model_inputs.input_ids,max_new_tokens=512)
    generated_ids = [
        output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
    ]
    response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

    # 将模型的输出添加到session_state中的messages列表中
    st.session_state.messages.append({"role": "assistant", "content": response})
    # 在聊天界面上显示模型的输出
    st.chat_message("assistant").write(response)
    print(st.session_state)

在这里插入图片描述

在这里插入图片描述

13、终端中运行以下命令，启动 streamlit 服务，server.port 可以更换端口：

streamlit run llamaBot.py --server.address 0.0.0.0 --server.port 1024

在这里插入图片描述

14、需要通过丹摩平台提供的端口映射能力，把内网端口映射到公网

在这里插入图片描述

在这里插入图片描述

15、添加成功后，通过访问链接即即可打开LLaMA3.1 Chatbot交互界面，并与其对话：

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

16、加载3~4分钟左右出现如下页面就可以对话了，成功搭建

在这里插入图片描述

17、如果不成功可以检查是否下载Llama-3.1-8B-Instruct.tar漏掉了文件，如下是完整文件（磁盘空间不足可能会导致文件下载缺失df -h命令可以查看磁盘内存，至少准备60G内存下载压缩包和解压）

在这里插入图片描述

18、此实例按照DAMODEL丹摩超算平台操作手册部署，如果想详细了解可以查看帮助文档

Llama3.1-部署与使用 | 帮助文档 - DAMODEL

在这里插入图片描述

本地连接使用DAMODEL方法

1、获取实例的SSH访问信息

ssh -p 36894 root@cn-north-b.ssh.damodel.com

在这里插入图片描述

2、win+r打开cmd命令提示符，cd进入刚刚存下私钥的文件夹目录

在这里插入图片描述

3、然后使用以下ssh命令连接服务器

ssh -i <私钥文件名> -p <端口号> <用户名>@<host地址>

ssh -i weishuo.pem -p 36894 root@cn-north-b.ssh.damodel.com

在这里插入图片描述

使用体验与总结

在这里插入图片描述

DAMODEL丹摩超算平台的操作流程非常简便，特别是官方提供了详尽的操作文档；如果在使用过程中遇到问题，也可以随时咨询技术人员；无论是对新手还是资深开发者，DAMODEL丹摩超算平台都是极佳的选择；平台支持一键部署，三秒启动，让AI开发变得轻松无比；现在正值开学迎新季，官网有多种折扣优惠，感兴趣的朋友们可以前往官网了解更多信息！

  • 超友好：配备124G大内存和100G大空间系统盘，一键部署，三秒启动，让AI开发从未如此简单
  • 资源多：从入门级到专业级GPU全覆盖，无论初级开发还是高阶应用，你的需求，我们统统Cover
  • 性能强：自建IDC，全新GPU，每一位开发者都能体验到顶级的计算性能和专属服务，大平台值得信赖
  • 超实惠：超低价格体验优质算力服务，注册即送优惠券！还有各类社区优惠活动，羊毛薅不停
wei_shuo
关注
本地部署调用ChatGLM-6B解决方案
2401_84052244的博客
08-07 182
ChatGLM-6B是由清华大学和智谱AI开源的一款对话语言模型，基于 General Language Model (GLM)架构，具有 62亿参数。该模型凭借其强大的语言理解和生成能力、轻量级的参数量以及开源的特性，已经成为在学术界和工业界引起了广泛关注。本篇将介绍使用DAMODEL深度学习平台部署ChatGLM-6B模型，然后通过Web API的形式使用本地代码调用服务端的模型进行对话。一、DAMODEL-ChatGLM-6B服务端部署。
AI结合微服务的落地应用
huotianyu的博客
09-26 1031
图像高清、抠图、扩图、文生图、图生图、换脸、模特换装、智能客服、以图搜图等AI相关的服务应用。 通过考虑分析客户需求，使用微服务开发基于AI各种算法使用的应用系统，系统包括：接口调用，同步、异步任务调度，图像算法实现，自然语言模型使用，非结构化数据存储，结构化数据存储，消息队列，网关管理等功能。
【模型部署攻略】零成本尝试llama3.1私有化部署！
z551646的博客
09-04 657
这篇文章主要介绍在自己本地gpu性能不足或者没有gpu的时候，如何部署体验llama3.1。解决方案：采用腾讯cloud Studio免费算力，结合ollama工具私有化部署llama3.1-8b 模型 总结:由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。但是具体到个人，只能说是：这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。我意识到有很多经验和知识值得分享给大家，
【纯小白利用云平台跑代码】丹摩平台 从零搭建pycharm跟云服务器的连接
pursuingSun的博客
07-12 728
pycharm连接丹摩服务器，小白学习。
DAMODEL（丹摩智算）新手指南：实例创建与本地连接
menetholl的博客
09-23 708
随着AI技术的飞速发展，越来越多的开发者和企业开始依赖高效的计算资源来支持模型训练、推理和部署工作。为了满足这种需求，DAMODEL（丹摩智算）应运而生，提供了一站式的智算云平台，专为AI任务提供强大的计算资源和基础设施。在本篇文章中，我们将为新手用户详细介绍如何在DAMODEL平台上创建实例、上传数据以及使用内置的JupyterLab环境进行开发。DAMODEL（丹摩智算）平台通过强大的计算资源与灵活的操作环境，为AI开发者提供了理想的工作平台。
[大模型实战] DAMODEL云算力平台部署LLama3.1大语言模型
淋曦的进击手记
08-11 1042
体验DAMODEL（丹摩智算）后，整体感觉它是一个非常强大且易用的AI开发云算力平台。对初学者非常友好，新建的实例基本不用再手动部署环境，一些常用的依赖已经帮你安装好，直接上手开发。不仅如此，它还提供了多种不同的开发环境，可以轻松地选择最熟悉或最适合用户需求的环境来构建、训练和部署应用程序，而无需考虑配置的问题。总的来说，和现有平台相比，DAMODEL（丹摩智算）核心在于快速启动，便捷开发，非常适合和各个应用领域结合，快速提供相关的解决方案。
DAMODEL平台实战：CogVideoX-2b模型部署与使用指南
易辰的博客
09-25 1080
该文章主要记录DAMODEL丹摩智算平台实践过程与心得体会，本次实践的内容为CogVideoX-2b-部署与使用；丹摩DAMODEL｜让AI开发更简单！算力租赁上丹摩！CogVideoX环境搭建好后，将test.py里的变量prompt的值改成相对应的文本，运行test.py文件即可生成对应的视频文件，非常适合需要文本转视频的人员使用！
LLaMA 3.1 模型在DAMODEL平台的部署与实战：打造智能聊天机器人
易辰的博客
09-25 984
LLama3.1 是 Meta（Facebook 母公司）发布的系列大语言模型之一，属于 LLaMA（Large Language Model Meta AI）模型系列。LLaMA 模型的目标是通过更高效的设计在保持模型性能的前提下，显著降低其计算和资源需求。LLaMA 3.1 是该系列的最新版本，继承了前面版本，如 LLaMA 1 和 LLaMA 2的许多技术优势，并对模型架构、训练数据和推理能力进行了改进。本文介绍了 LLaMA 3.1 模型的特点、优势以及在 DAMODEL 平台上的部署流程。
判别分析matlab
08-27
判别分析是一种统计方法，常用于分类...predictedLabels = score(daModel, X_test); scatter3(X(:,1), X(:,2), predictedLabels, 'filled') xlabel('Feature 1') ylabel('Feature 2') zlabel('Predicted Class') ```
用CNN和领域自适应进行样本迁移pytorch
06-09
super(DAModel, self).__init__() self.fc1 = nn.Linear(500, 500) self.fc2 = nn.Linear(500, 2) def forward(self, x): x = F.relu(self.fc1(x)) x = self.fc2(x) return x # 定义源域和目标域的数据...
丹摩智算平台部署 Llama 3.1：实践与体验
网罗天下方法，方便你我开发！！！
09-26 1653
在最近的开发工作中，我有机会体验了丹摩智算平台，部署并使用了 Llama 3.1 模型。在人工智能和大模型领域，Meta 推出的 Llama 3.1 已经成为了目前最受瞩目的开源模型之一。今天，我将通过这次实践，分享在丹摩平台上部署 Llama 3.1 的实际操作流程以及我的个人心得。总体来说，丹摩智算平台提供了一个强大且高效的 AI 开发环境，尤其适合像我这样需要进行大模型部署和实验的开发者。无论是硬件资源的灵活选择，还是内置的环境配置和工具支持，都极大地简化了部署流程。
基于Matlab面板版的卡尔曼小球运动跟踪[Matlab面板版].zip
10-16
大模型实战教程
Day01(1).py
10-16
Day01(1).py
面试-PHP高频面试题整理-面试题合集.zip
10-16
面试_PHP高频面试题整理_面试题合集
(最新整理)中国企业OFDI微观数据2005-2022年
最新发布
10-16
1、资源内容地址：https://blog.csdn.net/2301_79696294/article/details/142994315 2、代码特点：今年全新，手工精心整理，放心引用，数据来自权威，相对于其他人的控制变量数据准确很多,适合写论文做实证用 ，不会出现数据造假问题 3、适用对象：大学生，本科生，研究生小白可用，容易上手！！！ 3、课程引用: 经济学，地理学，城市规划与城市研究，公共政策与管理，社会学，商业与管理
毕业设计论文SpringBoot+Vue茶叶销售系统.docx
10-16
毕业设计论文
用于计算贴片天线的基本参数matlab代码.rar
10-16
1.版本：matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。
毕业设计论文SpringBoot+Vue二手书籍交易系统.docx
10-16
毕业设计论文
评论 26
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

wei_shuo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值