phi-3_pytorch小型语言多轮对话模型(SLM）

于 2024-09-03 00:00:00 发布
阅读量568 收藏 5
点赞数 13
分类专栏： 人工智能&深度学习&机器学习 文章标签： pytorch 语言模型 人工智能 多轮对话
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27815483/article/details/141392137
版权

Phi-3

论文

Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone

模型结构

基于transformer结构

算法原理

Phi-3 模型是目前功能最强大、性价比最高的小型语言模型 (SLM)，在各种语言、推理、编码和数学基准测试中，其表现优于同等规模和下一个规模的模型。此版本扩大了客户的高质量模型选择范围，为他们编写和构建生成式 AI 应用程序提供了更多实用选择。

环境配置

-v 路径、docker_name和imageID根据实际情况修改

Docker（方法一）

docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.1.0-ubuntu20.04-dtk24.04.1-py3.10

docker run -it --network=host --privileged=true --name=docker_name --device=/dev/kfd --device=/dev/dri --ipc=host --shm-size=32G --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -u root -v /path/your_code_data/:/path/your_code_data/ -v /opt/hyhal/:/opt/hyhal/:ro imageID /bin/bash

cd /your_code_path/phi-3_pytorch
pip install -r requirements.txt

Dockerfile（方法二）

cd ./docker
docker build --no-cache -t phi-3:latest .

docker run -it --network=host --privileged=true --name=docker_name --device=/dev/kfd --device=/dev/dri --ipc=host --shm-size=32G --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -u root -v /path/your_code_data/:/path/your_code_data/ -v /opt/hyhal/:/opt/hyhal/:ro imageID /bin/bash

cd /your_code_path/phi-3_pytorch
pip install -r requirements.txt

Anaconda（方法三）

关于本项目DCU显卡所需的特殊深度学习库可从光合开发者社区下载安装。

DTK驱动：dtk24.04.1
python：3.10
torch：2.1
vllm: 0.3.3

Tips：以上dtk驱动、python等DCU相关工具版本需要严格一一对应

其它非深度学习库参照requirements.txt安装：

pip install -r requirements.txt

数据集

暂无

训练

暂无

推理

# 指定显卡
export HIP_VISIBLE_DEVICES=0

python inference.py --model_path /path/of/model

result

精度

暂无

应用场景

算法类别

多轮对话

热点应用行业

家居,教育,科研

预训练权重

源码仓库及问题反馈

参考资料

技术瘾君子1573
关注
  • 13
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
为什么你需要了解小型语言模型， 人工智能效率和精度的未来
iCloudEnd的博客
08-19 140
首先让我们定义一下 SLM 的含义。SLM 的大小主要由其包含的参数数量定义，语言模型中的参数是模型在训练期间调整以创建其预测的旋钮和杠杆。据传，像 GPT4o 这样的 LLM 有数万亿个参数。例如，Gemini Ultra 有大约 5000 亿个参数，而新发布的开源 Llama 405b 正是如此——有 4050 亿个参数。现在，当 AI 模型公司发布新模型时，他们往往会分层发布，通常包括大号、中号和小号版本的模型。
【AIGC调研系列】全新的多模态小模型Phi-3-vision
zachary的博客
05-22 1563
全新的多模态小模型Phi-3-vision是微软在2024年推出的最新AI模型。Phi-3-vision是一个具有42亿参数的多模态模型，能够处理图像和文本数据，并对这些数据进行高效的推理和响应[12][13][14]。Phi-3-vision特别适用于移动设备上运行，尽管它也可以在PC端运行[2][7]。该模型支持一般的视觉推理任务，如图表、图解和表格的理解和分析[10][12][13]。用户可以通过输入图像和文本来询问相关的问题，例如关于图表的具体问题或特定图像的开放式问题[4][5][6]。
使用微软Phi-3-mini模型快速创建生成式AI应用
Hsiao的二进制生活
04-24 2058
Phi-3-mini 不仅可以在传统计算设备上运行，还可以在移动设备和物联网设备等边缘设备上运行。本博客的内容希望让不同的开发者结合不同的技术框架，探索 Phi-3-mini 发布的不同模型格式，让大家可以先推断出 Phi-3-mini。Phi-3系列包括phi-3-mini、phi-3-small和phi-3-medium三个不同规模的版本。Phi-3-mini的特性使之非常适合在云和边缘设备中使用，您可以选择LlamaEdge ，将Phi-3-mini运用于云原生、边缘和去中心化应用程序。
使用 C# 和 ONNX 來玩转Phi-3 SLM
dotNET跨平台
08-05 643
使用 C# 和 ONNX 來玩转Phi-3 SLMLLM 席卷世界刷新 AI 的认知之后，由于 LLM 需要的硬件要求实在太高，很难在普通设备上运行，因此 SLM 逐漸受到重視，Phi-3 SLM 是由 Microsoft 所开发的模型，可以在你的电脑、手机等设备来运行，小型语言模型 （SLM） 和 ONNX 的结合改变了 AI 互操作性的游戏规则。让我们展示如何在使用 C# 和 ONNX 的 ....
使用ONNX.NET 玩转Phi-3 SLM 大模型
farway000的博客
08-13 32
使用 C# 和 ONNX 來玩转Phi-3 SLMLLM 席卷世界刷新 AI 的认知之后，由于 LLM 需要的硬件要求实在太高，很难在普通设备上运行，因此 SLM 逐漸受到重視，Phi-3 SLM 是由 Microsoft 所开发的模型，可以在你的电脑、手机等设备来运行，小型语言模型 （SLM） 和 ONNX 的结合改变了 AI 互操作性的游戏规则。让我们展示如何在使用 C# 和 ONNX 的 ....
14-5 小语言模型SLM 百科全书
ms44的专栏
06-28 903
想象一下这样一个世界：智能助手不再驻留在云端，而是驻留在你的手机上，无缝理解你的需求并以闪电般的速度做出响应。这不是科幻小说；这是小型语言模型 (SLM) 的前景，这是一个快速发展的领域，有可能改变我们与技术的互动方式。多年来，语言模型领域一直被其巨型对手——大型语言模型 (LLM) 所主导。LLM 拥有数十亿（甚至数万亿）个参数，拥有令人印象深刻的功能，但其庞大的规模也付出了代价：巨大的计算能力、高存储需求和有限的可访问性。这就是 SLM 发挥作用的地方，它提供了一种令人耳目一新的替代方案。可以将 SLM
大模型RAG实践操作---一个简单的知识文档助手Demo
weixin_42838778的博客
08-17 914
文本生成模型：Mixtral 8x7B Instruct是一种可以遵循指令、完成请求和生成创造性文本格式的语言模型。Mixtral 8x7B是一种高质量的稀疏混合专家模型（SMoE），具有开放权重。该模型已通过监督微调和直接偏好优化（DPO）进行了优化，以确保仔细遵循指令。在MT Bench上，它的得分达到了8.30，使其成为最好的开源模型，性能与GPT3.5相当。Mixtral在大多数基准测试中都优于Llama 2 70B，推理速度快6倍。
小模型时代来了？苹果开源OpenELM，公开代码、权重、数据集、训练全过程
u012744245的博客
04-26 1272
4月24日，苹果开源了大语言模型（Open-source Efficient Language Models，即“开源高效语言模型”）。这与微软刚开源的Phi-3-mini类似，是一款专门针对手机等移动设备的模型。系列模型包含共4个不同参数版本，共包括，提供生成文本、代码、翻译、总结摘要等功能。基于较小的参数量，这些模型可在端侧设备上独立运行，而不必连接云端服务器。
微软深夜拯救“打工人”：自定义Copilot、多模态小模型出奇招，Altman“闪现”剧透新模型...
人工智能学家
05-22 164
整理 | 屠敏出品 | CSDN（ID：CSDNnews）这边国内 AI 大模型疯狂地打起了「价格战」，那边国外用 AI 模型和生产力较起了劲，甚至“内卷”得可怕。这不，昨天凌晨，微软刚召开一场发布会，提前推出搭载高通 Snapdragon X Elite 和X Plus 的全新 AI PC 品牌 Copilot+PC，不仅与苹果 M3 MacBook Air 在性能上进行了正面较量，还展示了新...
caser_pytorch:卷积序列嵌入推荐模型（Caser）的PyTorch实现
05-23
来自论文的卷积序列嵌入推荐模型（Caser）的PyTorch实现： 通过卷积序列嵌入的个性化Top-N序列推荐，唐佳西和王珂，WSDM '18 要求 Python 2或3 脾气暴躁的 科学 用法 安装所需的软件包。 运行python train_caser...
探索微软新VLM Phi-3 Vision模型：详细分析与代码示例
06-08
探索微软新VLM Phi-3 Vision模型：详细分析与代码示例
使用 LoRA 在 vi​​ggo 数据集上微调 Microsoft phi-2 小语言模型
gongdiwudu的专栏
02-04 2533
接下来，我们将看到有关如何使用 HuggingFace 中的 phi-2 进行提示的分步 Python 代码，然后我们将在 veggo 数据集上对其进行微调。我使用 T4 GPU 在 Google Colab 免费层上运行了此代码笔记本。
fine-tune Microsoft/Phi-3-mini-128k-instruct
qq_35215756的博客
05-28 826
使用transformers在聊天指令数据集上使用LoRA对Phi-3语言模型进行微调，以改进会话理解和响应生成。
[pytorch] --- pytorch基础之损失函数与反向传播
M2嵌入式
09-02 537
Loss Function的作用：（1）计算实际输出和目标之间的差距（2）为我们更新输出提供一定的依据，这个提供依据的过程也叫反向传播。我们可以看下pytorch为我们提供的损失函数：https://pytorch.org/docs/stable/nn.html#loss-functions。
PyTorch 2.0常用函数解析与用法
brucexia的专栏
09-02 769
在深入了解下一部分的深度学习内容之前，我们先探讨一些PyTorch 2.0中常用的函数解析和使用，这些将在后续的深度学习项目中发挥重要作用。
pyro ExponentialLR 如何设置优化器 optimizer的学习率 pytorch 深度神经网络 bnn,
09-02 461
param optim_args: 一个包含优化器学习参数的字典，或者是一个返回此类字典的可调用对象。:param clip_args: 一个包含 `clip_norm` 和/或 `clip_value` 参数的字典，或者是一个返回此类字典的可调用对象。:param scheduler_constructor: 一个 `torch.optim.lr_scheduler` 的类。这是一个用于动态生成参数的调整学习率的包装器，用于 `torch.optim.lr_scheduler` 对象。
动手学深度学习（pytorch）学习记录17-房价预测[学习记录]
weixin_50995339的博客
08-27 1321
首先，建立字典DATA_HUB， 它可以将数据集名称的字符串映射到数据集相关的二元组上， 这个二元组包含数据集的url和验证文件完整性的sha-1密钥。所有类似的数据集都托管在地址为DATA_URL的站点上。下面的download函数用来下载数据集， 将数据集缓存在本地目录（默认情况下为…/data）中， 并返回下载文件的名称。如果缓存目录中已经存在此数据集文件，并且其sha-1与存储在DATA_HUB中的相匹配， 将使用缓存的文件，以避免重复的下载。
【大模型实战篇】RoPE旋转位置编码PyTorch代码分析
最新发布
源泉的小广场
09-02 1130
大模型、llm、pytorch代码实现、旋转位置编码、长序列旋转位置编码、位置编码外推、代码分析、旋转实现、缩放因子、freq频率计算
non-local代码pytorch
03-16
non-local代码是PyTorch中的一种实现非局部操作的方法。非局部操作是一种在计算机视觉和自然语言处理中广泛使用的技术，用于捕捉全局上下文信息。 在PyTorch中，可以使用nn.NonLocalBlock2d模块来实现非局部操作。该模块接受输入张量，并返回一个经过非局部操作后的张量。 以下是一个使用nn.NonLocalBlock2d模块实现非局部操作的示例代码： ``` import torch import torch.nn as nn class NonLocalBlock(nn.Module): def __init__(self, in_channels): super(NonLocalBlock, self).__init__() self.in_channels = in_channels self.theta = nn.Conv2d(in_channels, in_channels // 2, kernel_size=1, stride=1, padding=0) self.phi = nn.Conv2d(in_channels, in_channels // 2, kernel_size=1, stride=1, padding=0) self.g = nn.Conv2d(in_channels, in_channels // 2, kernel_size=1, stride=1, padding=0) self.out = nn.Conv2d(in_channels // 2, in_channels, kernel_size=1, stride=1, padding=0) def forward(self, x): batch_size, channels, height, width = x.size() theta = self.theta(x).view(batch_size, self.in_channels // 2, height * width).permute(0, 2, 1) phi = self.phi(x).view(batch_size, self.in_channels // 2, height * width) g = self.g(x).view(batch_size, self.in_channels // 2, height * width).permute(0, 2, 1) f = torch.matmul(theta, phi) f = f.softmax(dim=-1) y = torch.matmul(f, g) y = y.permute(0, 2, 1).contiguous().view(batch_size, self.in_channels // 2, height, width) out = self.out(y) out = out + x return out ``` 在这个代码中，我们定义了一个名为NonLocalBlock的类，它继承自nn.Module。在类的构造函数中，我们定义了四个卷积层，分别用于计算theta、phi、g和输出。在forward方法中，我们首先将输入张量x分别传递给theta、phi和g卷积层，然后使用torch.matmul函数计算f矩阵，该矩阵用于计算非局部响应。最后，我们将计算出的y张量传递给输出卷积层，并将其与输入张量x相加，以获得最终的非局部响应。 这是一个简单的示例，用于说明如何在PyTorch中实现非局部操作。当然，实际应用中可能需要更复杂的模型和更高效的实现方式。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

技术瘾君子1573

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值