weixin_49795811的博客

ONNXruntime运行可以分为三个阶段：Session的构造模型加载和初始化运行模型推理流程Session构造构造阶段即创建一个InferenceSession对象。在python前端构建Session对象时，python端会调用C++中的InferenceSession类构造函数，得到一个InferenceSession对象。

精度校准——训练时由于梯度等对于计算精度要求较高，但是inference阶段可以利用精度较低的数据类型加速运算，降低模型的大小，例如FP16，int8，从而加速模型推理速度。层和张量融合——TensorRT中将多个层的操作合并为同一个层，这样就可以一定程度的减少kernel launches和内存读写。比如把主流神经网络的conv、BN、Relu三个层融合为了一个层；把维度相同的张运算组合成另一个大的张量运算。

转换一些网络会出现使用了onnx还没有实现的函数报错，可以修改相应源码。batch_size 设置为1可能会出报错。

ONNX使用的是Protobuf这个序列化数据结构去存储神经网络的权重信息。Protobuf是一种轻便高效的。

装饰器是一种函数，它能够动态地修改或增强其他函数或方法的行为，而无需直接修改它们的代码。functools中的装饰器可以帮助简化代码逻辑、提高代码复用性和效率。本质上是一个接受函数作为输入并返回另一个函数的函数。它允许你在不改变原函数的前提下，为函数添加功能。例如，可以为某个函数添加缓存机制、调试信息、或执行时间记录等功能。

将这个非连续的张量传递给一个期望连续内存的函数（例如某些 ONNX 推理操作，ONNX Runtime 和其他推理引擎通常假设输入数据是连续的），ONNX 导出可能会遇到内存布局不一致的问题，导致推理阶段的数据不正确或效率低下。在部署onnxruntime的时候发现在对tensor进行slice 的时候，加不加contiguous()对结果的影响非常大。调用 .contiguous() 会确保张量以标准的内存布局（在 PyTorch 中是行优先顺序）存储在一个连续的内存块中。

如输入nii图像为【512，512，309】，正确读取的tensor将为【309，512，512】，permute之后为【512，512，309】。在 PyTorch（

出现 E:onnxruntime:barcode, provider_bridge_ort.cc:995 onnxruntime::ProviderLibrary::Get] LoadLibrary failed with error 126 "找不到指定的模块。最后一步将onnxruntime.dll 加入release文件夹要注意，如果要使用cuda/tensorrt最好把所有dll都放到这个文件夹下。我的是cuda12.x +cudnn8.x。换了gpu-cuda12.1-1.8.1之后问题解决。

但在配置ITK的时候我下载的是InsightToolkit-5.3.0。完全按照上面步骤配置完了会出现Error (active) E1696 cannot open source file "itkeigen/Eigen/Eigenvalues" test D:\itk\bin\include\ITK-5.3\itkSymmetricEigenAnalysis.h 23。解决方法：打开itk/bulid 可以找到ITKinternalEigen3-build这个文件夹。

训练3D dilated CNN 网络，基于局部图像patch预测CCTA图像中任何给定点处血管最可能的方向和半径。用手动或者自动放置在冠状动脉任意位置的单个种子点开始，使用tracker沿两个方向跟踪血管中心线。当没有方向可以被高度置信的时候停止追踪。训练用人为标注的中线进行训练。无需图像预处理。评估指标：average overlap of 93.7% with manually annotated reference centerlines。