cyz0202的博客

介绍VAE的一种推导和实现方式

​自定义卷积注意力算子的CUDA实现​

注意力的卷积替代

I-BERT

BN折叠及其量化

EM算法2

本文介绍如何用CUDA进行算子实现，以mmdetection的focal_loss实现为例

本系列文章Intel Distiller工具包-量化实现1Intel Distiller工具包-量化实现2Intel Distiller工具包-量化实现3回顾上一篇文章中介绍了Distiller及Quantizer基类，基类定义了重要的变量，如replacement_factory（dict，用于记录待量化module对应的wrapper）；此外定义了量化流程，包括 预处理（BN折叠，激活优化等）、量化模块替换、后处理 等主要步骤； 本文介绍继承自Quantizer的子类量化...

本系列文章Intel Distiller工具包-量化实现1https://blog.csdn.net/cyz0202/article/details/125030673回顾上一篇文章中介绍了Distiller及Quantizer基类，基类定义了重要的变量，如replacement_factory（dict，用于记录待量化module对应的wrapper）；此外定义了量化流程，包括 预处理（BN折叠，激活优化等）、量化模块替换、后处理 等主要步骤； 本文介绍继承自Quantizer的子类量化..

DistillerDistiller是Intel2019年左右开发的一个

NVIDIA CUDA入门blog-An Even Easier Introduction to CUDA

BMINFBMINF是清华大学开发的大模型推理工具，目前主要针对该团队的CPM系列模型做推断优化。该工具实现了内存/显存调度优化，利用cupy/cuda实现了后训练量化 等功能，本文记录分析该工具的后训练量化实现。主要关注cupy操作cuda实现量化的部分，涉及量化的原理可能不会做详细介绍，需要读者查阅其他资料；实现代码分析1量化部分的入口代码主要是在 tools/migrate_xxx.py，这里以 tools/migrate_cpm2.py为例；main函数build_mo

参考自 GitHub BMINF项目直接上代码class PositionBias(Layer): def __init__(self, num_buckets, num_heads, is_decoder): self.num_buckets = num_buckets self.is_decoder = is_decoder self.num_heads = num_heads self.embedding = Embedd.

Spark2.4.5RDD的转换操作学习mapPartitions例子：给定rdd1 = sc.makeRDD(1 to 10, 4)，请输出各partition的"|“拼接结果；=> rdd1.mapPartitions(x => Iterator(x.mkString(”|"))).collectnote：要注意Iterator的使用是为了满足partition的要求；...

1. Scaled Dot-Product Attention中为什么要除以-

1. 空洞卷积1.1 如上图所示，空洞卷积是为了增加感受野（pooling虽然能增加感受野，但是容易丢失原有信息）；1.2 实现原理：图a为普通3*3卷积（注：该卷积也可视为空洞率=1的空洞卷积，见以下说明）；图b是空洞率=2的空洞卷积，即向原有卷积核前中后都插入一个权重为0的格子；此时卷积核变为77，但是有值的格子还是只有原来的33；图c是空洞率=4的空洞卷积，情况如图b；1.3 空洞卷积的应用：如下是在语音里的应用（Dilation=2即空洞率为2）1.4 补充：pooling

参考自 nvidia-mixed-precision-trainingMixed Precision Training背景：减少内存消耗、提高训练、推断速度基本思想：大部分相对不重要的计算使用FP16，少量重要的计算使用FP32实际实现主要考虑两大部分：哪些部分使用FP16针对FP16可能带来的性能衰退做相应优化，主要是添加 loss scale一个例子展示效果半精度格式IEEE754规定16bits半精度浮点数格式为：1 sign bit, 5 exponent bit.

参考自：label-bias-problem1label-bias-problem2B站白板推导MEMM-CRF现象描述该问题来自对局部转移概率的归一化；直观地想象状态S的向外转移分支较少时，各分支会得到更多的probability；状态S的向外转移分支虽多，但是其实真实数据中这些转移发生次数都比较少，因为归一化，S的转移概率分布也可能和其他状态的常见转移一样；上述两种现象针对的问题就是，本身从当前状态S向外转移 在数据中并不常见，但是由于S外转分支少，再加上做归一化，就会.

主要内容参考自该知乎高赞回答 @superbrother，加入个人理解，侵删；本文介绍GCN原理，不是科普入门，需要熟悉矩阵、高数、深度学习；对矩阵分解不熟悉的请先看最后的补充知识部分（注意不是从头讲解）背景介绍为什么研究GCN主要是有不规则图需要处理的场景，如社交网络等；处理拓扑图空间特征的两种方式具体分析1）图卷积理论图 拉普拉斯矩阵为什么使用L（拉普拉斯）矩阵L矩阵的谱分解：GCN的核心基于拉普拉斯矩阵的谱分解如[何从传统的傅里叶变换、卷积类比到.

内容来自itbaizhanNAT：网络地址转换模式Bridge：桥接/桥连模式区别：假设物理机U的局域网ip地址：192.168.1.5创建虚拟机V时（如下图图片示例），如果使用NAT网络类型，则V被分配的ip地址可能为192.168.203.5；V访问外网时，NAT技术会将V的ip地址转换成物理机U的公用IP地址，因此可以访问外网；NAT优点：NAT有点是节省ip，只要访问外网时进行一下转换即可；NAT缺点：V与物理机U的ip区别是 不在同一个网段，因此两者没法直接互相访问；桥连：.