Mindie在华为910B推理大模型

最新推荐文章于 2024-08-09 08:31:03 发布
最新推荐文章于 2024-08-09 08:31:03 发布
阅读量156 收藏
点赞数 1
文章标签： python fastapi
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41549308/article/details/140936009
版权

Mindie在华为910B推理大模型 - 掘金 (juejin.cn)

之前在华为昇腾服务器上推理了Qwen1.5-14b-chat模型，但是用Mindie RC1.0版本无法兼容openai接口，传递的文本字符数有限，不能超过16000.因此，选用了最新版本的Mindie RC2.0版本，成功推理。步骤和上述链接一致，但是下载镜像的时候用MindieRC2.0.

---------------------------------------------------------------------------------------------------------------------------------

目前利用Mindie启动了大模型服务，fastchat启动了embedding服务，然后再启动langchain-chatchat就成功运行，且推理速度和V100卡差不多。

如果大家有部署问题，可以后台私信我~

七月花nancy
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
华为MindIE初体验：Qwen1.5-14B-Chat模型40并发推理实测
人工智能曾小健
08-03 706
原创 XC272024年07月03日 22:14北京最近发现华为NPU的生态里多了一个成员——MindIE，部分解决了大模型推理的问题，下面简要介绍下Mind华为昇腾NPU卡的生态。
大模型国产化适配7-华为昇腾LLM落地可选解决方案（MindFormers、ModelLink、MindIE）
人工智能曾小健
04-18 1920
本文的所有信息都是截止2024年4月最新的一些信息，如有不准确的地方欢迎讨论。总的来说，昇腾最近一年多经过海量大模型需求的洗礼，正在快速变得成熟和完善。希望国产AI芯片、AI软硬件生态越来越好。
基于华为mindie server搭建本地知识库
qq_52859223的博客
05-28 463
本文主要讲解基于华为大模型推理服务框架以及langchain gradio搭建本地知识库系统。
大模型国产化适配9-LLM推理框架MindIE-Service性能基准测试
人工智能曾小健
08-03 928
本文简要介绍了LLM推理过程、LLM推理服务的目标、常见的LLM服务评估指标以及LLM推理优化技术。同时，使用MindIE-Service对不同的大模型的推理延迟和吞吐量进行了测试。参考文档：Reproducible Performance Metrics for LLM inference / 可复现的语言大模型推理性能指标LLM 推理性能工程最佳实践大语言模型推理性能工程优化最佳实践吃果冻不吐果冻皮专注于AI工程化（LLM、MLOps、LLMOps、RAG、Agent）落地。150篇原创内容。
mindie与mindspore是什么关系？
weixin_45666880的博客
06-28 425
MindIE（Mind Inference Engine，推理引擎）是华为昇腾针对AI全场景业务的推理加速套件。MindSpore是一种适用于端边云场景的新型开源深度学习训练/推理框架。从字面理解，MindIE 和 MindSpore 都能做推理，区别在哪？MindIE 未开源，MindSpore 已开源，原因是啥？这两个最终会不会统一？
昇腾环境下使用docker部署mindie-service
yuanlulu的博客
07-08 651
MindIE是基于昇腾硬件的运行加速、调试调优、快速迁移部署的高性能深度学习推理框架。它包含了MindIE-Service、MindIE-Torch和MindIE-RT等组件。我主要用MindIE-Service的功能，这个组件对标的是vllm这样的大语言推理框架。
AI大模型落地应用场景：LLM训练性能基准测试
m0_63171455的博客
06-18 1312
训练性能在本文指机器（GPU、NPU或其他平台）在指定模型和输入数据的背景下，完成一次端到端训练所需要花费的时间，考虑到不同模型的训练数据量和训练轮次（epoch）差异，此处定义的性能是在完成一个batch训练所需花费的时间。而端到端通常是指完成一个AI模型单步训练的过程。也就是说，本文所讨论的性能的衡量和性能的优化，都是站在模型角度上。单batch总时间 = 数据加载时间 + 模型前反向时间 + 优化器时间 + 模型后处理时间 + 通信时间 + 调度时间数据加载时间。
昇思MindSpore2.3版本正式上线，增强动/静态图与大模型能力
Kenji_Shinji的博客
07-19 720
经过昇思MindSpore社区开发者们几个月的开发与贡献，现正式发布昇思MindSpore2.3版本，其中动态图开发支持算子直调提升API性能，静态图开发支持O(n)多级编译提升调试调优能力，在大模型训练方面，支持大模型场景计算与通信掩盖的极致优化，并新增接口FlopsUtilizationCollector，提供算力利用率统计能力，在大模型推理方面，推出针对LLM的推理优化方案提升推理性能，MindSpore Transformers提升推理性能与易用性，在科学计算套件方面，MindSpore Flow新
【大模型】什么是大模型框架？常用的大模型框架盘点对比
yuuuuuuuk的博客
07-06 1676
大模型框架是指用于训练、推理和部署大型语言模型（LLMs）的软件工具和库。这些框架通常提供了高效的计算资源管理、分布式训练、模型优化和推理加速等功能，以便更好地利用硬件资源（如GPU和TPU）来处理庞大的数据集和复杂的模型结构。大模型框架的优点高效性：通过优化计算和内存管理，这些框架能够显著提高训练和推理的速度。可扩展性：支持分布式训练，可以在多个GPU或TPU上运行，适用于大规模数据集和复杂任务。灵活性：提供丰富的API和工具，使得研究人员和工程师可以方便地进行定制化开发。
大模型微调工具-torchtune
weixin_40777649的博客
08-08 549
1.定义2.安装3. 案例。
python的匿名函数
weixin_74923758的博客
08-05 246
python中的匿名函数是一种简洁的函数定义方式，它使用lambda关键字来创建。匿名函数通常用于需要一个函数对象，但又不想去定义一个完整的函数时。它们可以接收任意数量的参数，但只能有一个表达式。匿名函数经常与函数的参数一起使用，例如map（），filter（）和sorted()等函数，这些函数可以接受一个函数作为参数来指定如何操作数据。map()函数可以将一个给定的函数应用于一个可迭代对象的每个元素。是函数体，它是一个表达式，其结果将作为函数的返回值。
jupyter下载
Einstein·Jun
08-06 609
Anaconda下载 参考链接：https://blog.csdn.net/qq_48372575/article/details/125630622 设置Jupyter Notebook的代码路径 在“此电脑”中搜索。删除最后一个""后面的的内容，包括“\”。 用记事本打开它。 按下ctrl+F就可以开始查找。查找内容如下： 找到之后，右键该文件，找到“发送到”，找到“桌面快捷方式”。然后就会发现桌面上已经建立好了！
NVIDIA-CUDA
qq_41081716的博客
08-08 327
CUDA 是一种强大的并行计算平台，它极大地扩展了 GPU 的用途，使其不仅仅局限于图形处理。通过利用 CUDA，开发人员可以编写高效、高性能的并行应用程序，这些应用程序可以用于各种计算密集型任务。如果您正在从事高性能计算或需要加速计算任务的工作，CUDA 是一个非常有用的工具。
pytorch下载慢，如何下载到本地再去安装，本地安装pytorch
最新发布
weixin_53035684的博客
08-09 240
本地安装torch
Falsk测试与部署（第九阶段）
蜡笔小新星的博客
08-09 310
在本章节中，我们学习了如何使用unittest和pytest进行单元和集成测试，以及如何配置Flask应用，使用WSGI服务器部署，容器化Flask应用并将其部署到各种云服务平台。通过这些步骤，你可以确保你的Flask应用在生产环境中的稳定性和可靠性。希望这些知识能够帮助你在实际项目中更好地实现测试和部署。
Python语法基础常识
2401_86168842的博客
08-07 423
初步学习print函数时，我们可以看到print函数分别有无引号、单引号、三引号用法，即print()、print(' ')、print(''' ''')用法，他们之间的用法分别是怎样的呢？number='3.1415926'，那么这行代码中，number就是变量，我们把数字“3.1415926”赋值给了number。print('')则是用于文字输出，当我们想要让计算机打出非纯数字内容时，就得在print函数中用单引号''。当然，可能有同学会好奇：“那我能不能不用单引号，用双引号呢？
Python面试题：结合Python技术，如何使用PyTorch进行动态计算图构建
码农超哥的博客
08-06 612
PyTorch 是一个流行的深度学习框架，它通过动态计算图（Dynamic Computation Graphs）来支持自动微分（Autograd）。动态计算图的特点是每次前向传播时都会构建新的计算图，这使得它非常灵活，适合处理可变长度的输入和复杂的模型结构。以下是如何使用 PyTorch 构建动态计算图的步骤和示例：导入必要的库：定义模型：创建输入数据：前向传播：反向传播：更新参数：以下是一个简单的线性回归示例，演示了如何使用动态计算图： 关键点解析 动态计算图：在 方法中，每次调用都会构建新的计算
打造智能障碍物检测系统：从零开始的深度学习项目
a871923942的博客
08-05 1073
随着自动驾驶技术的发展，障碍物检测成为保障行车安全的重要一环。通过深度学习模型，尤其是YOLO（You Only Look Once）模型，可以高效、准确地检测道路上的障碍物，从而提高自动驾驶系统的安全性和可靠性。
华为京东加速AI大模型落地，产业应用革新在即
在当前的计算机行业中，人工智能（AI）技术正在迅速发展，特别是在大模型领域。华为的盘古大模型作为一项重要的技术创新，自2019年开始研发，已经构建了基础大模型、行业大模型和场景大模型的三层架构，广泛应用于...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

七月花nancy

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值