LuchangLi 的专栏

[TRT] [E] IRuntime::deserializeCudaEngine: Error Code 1: Serialization (Serialization assertion stdVersionRead == kSERIALIZATION_VERSION failed.Version tag does not match. Note: Current Version: 237, Serialized Engine Version: 239

RuntimeError: Cannot insert a Tensor that requires grad as a constant. Consider making it a paramete

针对大语言模型权重的4bit量化，除了常规的广泛使用的group-wise均匀量化，如GPTQ, AWQ等等，苹果提出了一种称为Palettization的lookup table (LUT)查找表量化技术，高通也提出了新的一种向量量化技术，其实这两种技术原理基本上是相同的

INTRODUCTI N TO LINEAR ALGEBRA, 线性代数导论，GILBERT STRANG ，有中译本。

normalization算子和方差计算数值稳定性方法

GPU profiling

TensorRT Model Optimizer量化和模型导出

错误提示为Caused by the value '28 defined in (%28 : Float(*, *, *, *, strides=[199692, 66564, 258, 1], requires_grad=0, device=cpu)这种问题一般出现在卷积的权重不是常规的直接的训练参数，而是从其他计算分支计算得到。这里指示了是test.py第10行引起的，也就是pad那一句导致的。这其实是底层infer shape的bug。这使得x的shape重新被完全静态确定。

比如，你判断一件事情是阳性，但是你的判断是错的，就是false positive。第二个词positive或者negative，表明判断的内容是阳性还是阴性。第一个形容词为true, false表名这个判断是正确还是错误的。

突破性技术: 大语言模型LLM量化激活outliers异常值抑制

Transformer 从Attention到grouped query attention (GQA)

LLM激活稀疏性加速

导出RWKV模型为onnx

gemma模型导出ONNX

通过onnx模型可以在支持onnx推理的推理引擎上进行推理，从而可以将LLM部署在更加广泛的平台上面。此外还可以具有避免pytorch依赖，获得更好的性能等优势。

​LLaMa等LLM语言模型一般使用SentencePiece tokenizer，在端侧部署需要编译和使用其c++版本。在安卓平台使用NDK编译CMakeLists.txt需要进行一些修改：

AWQ模型量化实践

ZeroQuant-V2 LLM权重与激活量化

一种大于2GB模型onnxsim方法