weixin_44212848的博客

这行代码在调用通义千问API之前，设置了API的基础URL。这个URL是阿里云提供的国际版通义千问API的端点地址。API密钥与特定区域或端点绑定（例如，一个密钥可能只能用于中国区，另一个只能用于国际区）需要根据不同的API密钥使用不同的端点URL（例如，国内版和国际版）本人的服务器在香港，采用海外版的 API 时，需要进行如下。：API的根路径，所有API请求都会基于这个URL构建。：API服务器的URL地址，客户端通过此地址访问服务。：配置RESTful API客户端的地址和行为。

运行示例图像客户端应用程序，以使用示例 dendensenet_onnx 模型执行图像分类。要发送 dendensenet_onnx 模型的请求，请使用 /workspace/images 目录中的图像。在某些情况下，使用 CUDA 共享内存在客户端库和 Triton 之间传递张量可以显著提高性能。在某些情况下，使用系统共享内存在客户端库和 Triton 之间通信张量可以显著提高性能。

这个表格总结了HTTP和gRPC在不同方面的主要区别，帮助快速比较和理解两者的差异。

bin.pt.pth：这些格式大多数情况下保存的是state_dict，需要通过将其加载到模型中。完整模型 (.pt：保存的是整个模型对象，包含模型架构和权重，加载时直接得到模型实例。：专为安全和效率设计，需要库处理加载和保存。

在处理大型模型或数据集时，我们经常使用 Git Large File Storage (LFS) 来管理这些大文件。然而，下载过程中可能会遇到中断，需要重新下载特定文件或文件夹。本文将介绍如何在 Hugging Face 上使用 Git LFS 下载指定文件或单个文件夹。

TypeError: z_(): incompatible function arguments. The following argument types are supported: 1. (self: torch._C.Node, arg0: str, arg1: torch.Tensor) -> torch._C.NodeInvoked with: %329 : Tensor = onnx::Constant(), scope: transformers.models.clip.mode

通过在 onnx_export 时将断点打到调用的 pipeline.transformer 模型 forward 开头位置，发现是与此处的输入变量一一对应，而非调用 pipeline.transformer 处的输入顺序。解决方案就是改用 (1) 的顺序，重新写 onnx_export 中的 model_args，注意，None 和 False 的值也要写上，可以将以下代码作为参考。onnx_export 过程中，一直出现有 forward() 中的输入变量数量不对的问题。

本文介绍了如何在多输入的情况下，实现 tritonclient 的 .infer。

通过正确指定输入的形状和动态范围，可以使用trtexec将多输入的 ONNX 模型成功转换为 TensorRT 引擎。在遇到问题时，检查形状格式和模型的批处理维度是解决问题的关键。

在 Pytorch 到 onnx 转化的过程中，出现以下问题。

AttributeError 是一种异常，当你试图访问或操作一个对象不存在的属性时会发生。在 Python 中，一切皆对象，对象具有定义其行为和属性的属性。当你试图访问一个不存在的属性时，Python 会引发 AttributeError 来告知你出了问题。

将函数或nn.Module脚本化，会检查源代码，并使用 TorchScript 编译器将其编译为 TorchScript 代码，并返回一个或。TorchScript 是 Python 语言的一个子集，因此并不是所有的 Python 功能都能在其中使用，但我们提供了足够的功能来对张量进行计算和执行控制相关操作。完整指南请参阅 TorchScript 语言参考。

通过这些概念，Docker 提供了一个完整的生命周期管理工具集，从创建和测试镜像，到分发和运行容器，再到管理和备份镜像。每个步骤都在 Docker 环境中起着关键作用，确保应用程序可以高效、可靠地运行在不同的计算环境中。Docker 是一个用于创建、部署和运行应用容器的平台。

上一篇简要介绍了神经网络模型从到的流程。本文则进一步细化该流程中需要的步骤，包括用到的各种环境和工具。此外，系列文不仅包括了“怎么做”，还包括了“为什么这么做”的个人理解。

在 PyTorch 中，张量是构建神经网络模型的基本元素。了解张量的属性和行为对于深入理解模型的运行机制至关重要。本文将介绍 PyTorch 中的两种重要张量类型：叶子张量和非叶子张量，并探讨它们在反向传播过程中的行为差异。

在这个例子中，我们使用 threading.local() 创建了一个线程局部变量 global_final_path。在 my_app 函数中，我们将函数的返回值 some_result 存储在 global_final_path.final_path 中。在主程序中，我们通过 global_final_path.final_path 获取函数的返回值，并将其打印出来。这样做能确保在多线程环境中，每个线程都能正确地获取函数的返回值，而不会发生冲突或混乱。

（1）通过 onnx 的可以找到转化时定义的模型输入，示例代码如下# 加载 ONNX 模型# 打印模型输入定义列表print("ONNX 模型的输入定义:")input。

这里的范围 0 到 49408 的 token 输入通常来自于 CLIP 模型的文本 tokenization 过程。CLIP 模型中的文本输入需要经过 tokenization，以便将每个词转换为一个唯一的 token ID。在对 CLIP 模型的文本 encoder 模块从 .pt 到 .onnx 的转化过程中，遇到报错。遇到的问题大概率是由于ONNX Runtime不支持模型中的ArgMax操作的。另外，也可以尝试在模型外部实现ArgMax操作，并将结果传递给网络。

这里需要注意下 onnxruntime 对应的 CUDA 和 cuDNN 版本，不一定适配，具体可查看。针对转化成果的 .onnx 模型，通过以下代码即可查看定义好的输入和输出。先下载好 onnx 和 onnxruntime-gpu。正确的输出情况示例如下，其中为 0 的维度是可变的维度。

通过 onnx.checker.check_model 函数可以检查模型的一致性，即模型在结构、格式和配置方面的正确性和完整性。

在深度学习模型设计阶段（写论文、进行研究时），由于模型结构和参数经常变化，最常用的模型权重格式包括 .pt、.pth 和 .ckpt 等。

在训练过程中保存模型的状态是一种最佳实践。这样可以在开发模型的过程中，在每个关键点上获得模型的一个版本，即一个检查点。一旦训练完成，您可以使用在训练过程中找到的性能最佳的检查点。与普通的 PyTorch 不同，Lightning 保存了你在最复杂的分布式训练环境中恢复模型所需的一切。官方文档：https://lightning.ai/docs/pytorch/stable/common/checkpointing_basic.html。检查点还使得训练在中断的情况下可以从中断的地方恢复。

那么恭喜你的 .onnx 大概率是可以转化到 .plan 的！当然这里也有些坑，比如明明是显存不够错误，但日志里完全没提 oom，而是说节点问题。。。

【保姆级教程】带有透明图层的 layer diffuse 在 ubuntu 上如何跑通

bash: trtexec: command not found

用 pytorch 几秒就能跑完的，用 onnxruntime 反而慢了10 倍不止，下图中 ‘CUDAExecutionProvider’ 也说明 onnxruntime 确实是用上了 GPU。

docker 中运用 cv2 包导致报错 ImportError: libGL.so.1: cannot open shared object file: No such file or directory 和 ImportError: libgthread-2.0.so.0: cannot open shared object file: No such file or directory

解决 docker 找不到驱动/GPU，报错 docker: Error response from daemon: could not select device driver "" with capabilities: [[gpu]]. ERRO[0000] error waiting for container: context canceled

onnxruntime 推理时无法用上 GPU，onnxruntime 找不到 CUDA