机器学习杂货铺的汇总贴

前言

本文主要对该博客的文章进行汇总和分类，因为博客规模逐渐变大之后，索引文章就变成一个日渐凸显的问题了，变得难以维护起来。本博客主要的原创文章将在公众号与知乎专栏同步更新，有兴趣的朋友可以同步关注。

$\nabla$ 联系方式：

e-mail: FesianXu@gmail.com

QQ: 973926198

github: https://github.com/FesianXu

知乎专栏: 计算机视觉/计算机图形理论与应用

微信公众号：机器学习杂货铺3号店

---

对比学习

1. CLIP-对比图文多模态预训练的读后感 公众号：✔
2. MoCo 动量对比学习——一种维护超大负样本训练的框架 公众号：✔
3. 训练大规模对比学习的一些小笔记 公众号：✔
4. 图文搜索系统中的多模态模型：将MoCo应用在多模态对比学习上 公众号：✔
5. Batch Norm层在大尺度对比学习中的过拟合现象及其统计参数信息泄露问题 公众号：✔
6. 【论文极速读】MoCo v3: MoCo机制下Transformer模型的训练不稳定现象 公众号：✔
7. hinge loss的一种实现方法 公众号：✔

大语言模型

1. 增强型语言模型——走向通用智能的道路？！？ 公众号：✔
2. 【论文极速读】Prompt Tuning——一种高效的LLM模型下游任务适配方式 公众号：✔
3. 【论文极速读】EMT——评估多模态LLM中的灾难性遗忘问题 公众号：✔
4. 【论文极速读】LVM，视觉大模型的GPT时刻？ 公众号：✔
5. BLIP2——采用Q-Former融合视觉语义与LLM能力的方法 公众号：✔
6. 【论文极速读】Flamingo：一种交织图文的视觉语言大模型方法 公众号：✔

多模态模型

1. 语义标签(Semantic label)与多模态模型的一些关系 公众号：✔
2. 将Transformer用在图片上：Vision Transformer论文杂谈 公众号：✔
3. Transformer代码随记 公众号：✔
4. 【论文极速看】 Linformer 线性复杂性的自注意力机制 公众号：✔
5. 【论文极速看】ERNIE-VIL 一种基于场景图解析的多模态表征方法 公众号：✔
6. 视频分析与多模态融合之一，为什么需要多模态融合 公众号：✔
7. CLIP-对比图文多模态预训练的读后感 公众号：✔
8. 图文搜索系统中的多模态模型：将MoCo应用在多模态对比学习上 公众号：✔
9. WenLan 2.0：一种不依赖Object Detection的大规模图文匹配预训练模型 & 数据+算力=大力出奇迹 公众号：✔
10. 图文多模态语义融合前的语义对齐——一种单双混合塔多模态模型 公众号：✔
11. 在多模态模型训练时，如何合适地融合单模态损失 公众号：✔
12. 【论文极速读】FILIP： 一种基于交互的细粒度图文预训练模型 公众号：✔
13. 【论文极速读】ERNIE VIL 2.0，多模态模型的一种多视角预训练范式 公众号：✔
14. 【论文极速读】VQ-VAE：一种稀疏表征学习方法 公众号：✔
15. VQ-VAE的实现方法分析——一种基于梯度回调的方法 公众号：✔
16. 【论文极速读】IMAGEBIND —— 通过图片作为桥梁桥联多模态语义 公众号：✔
17. 【论文极速读】EMT——评估多模态LLM中的灾难性遗忘问题 公众号：✔
18. 【论文极速读】视频检索中的模态均衡方法 公众号：✔

图神经网络相关

1. 《学习geometric deep learning笔记系列》第一篇，Non-Euclidean Structure Data之我见 公众号：✔

2. 《Geometric Deep Learning学习笔记》第二篇， 在Graph上定义卷积操作，图卷积网络 公众号：✔

3. 《Geometric Deep Learning学习笔记》第三篇，GCN的空间域理解，Message Passing以及其含义 公众号：✔

4. Shift-GCN网络论文笔记 公众号：✔

5. Shift-GCN中Shift的实现细节笔记，通过torch.index_select实现 公众号：✔

6. 在图卷积网络中的可导池化操作 公众号：✔

卷积神经网络优化与加速，压缩

1. 紧致卷积网络设计——Shift卷积算子 公众号：✔
2. 卷积网络模型压缩的若干总结 公众号：✔
3. 《weekly paper》DenseNet的理解 公众号：✔
4. 一文搞懂反卷积，转置卷积 公众号：✔

人体活动与视频分析

1. 基于图结构的视频理解——组织视频序列的非线性流 公众号：✔
2. 万字长文漫谈视频理解 公众号：✔
3. 【动作识别相关，第一篇】skeleton骨骼点数据类型介绍 公众号：✔
4. [笔记] 常见人体铰链关节点数据集中的关节点排序(SMPL,NTU,MPII,human3.6M)
5. 视频分析与多模态融合之一，为什么需要多模态融合 公众号：✔

立体视觉与多视角视觉

1. 双目三维重建——层次化重建思考 公众号：✔
2. 【多视角立体视觉系列】 几何变换的层次——投影变换，仿射变换，度量变换和欧几里德变换 公众号：✔
3. 【多视角立体视觉系列】 conic圆锥线和quadric二次曲锥面的定义和应用 公众号：✔
4. 讨论物体的表面深度对相机成像的影响 公众号：✔
5. 图像校正(Image Rectification)——使得在对极线上寻找对应点更加容易 公众号：✔
6. 几何变换——关于透视变换和仿射变换以及齐次坐标系的讨论 公众号：✔
7. 立体视觉中的对极几何——如何更好更快地寻找对应点 公众号：✔
8. 论相机中心投影中，相机中心的作用 公众号：✔
9. 投影相机，透视相机，弱透视相机和仿射相机的区别和联系 公众号：✔
10. 相机中的透视投影几何——讨论相机中的正交投影，弱透视投影以及透视的一些性质 公众号：✔
11. 相机的针孔模型及其内参数，外参数的理解 公众号：✔
12. 基于匹配点集对单应性矩阵进行估计 公众号：✔
13. 从手写字符匹配开始，简要解释局部仿射变换(local affine transformation) 公众号：✔
14. 中心投影中透视的形成 公众号：✔

深度学习框架相关 tensorflow

1. tf.gather, tf.gather_nd和tf.slice 公众号：✔
2. tensorflow编程实践：结构化你的模型 公众号：✔
3. TensorFlow的体系结构 公众号：✔
4. tensorflow中的image预处理操作函数 公众号：✔
5. tensorflow中的位操作
6. tf.tuple()用于组合多个张量输入 公众号：✔
7. tf.group()用于组合多个操作 公众号：✔
8. TensorFlow高阶函数之 tf.foldl()和tf.foldr() 公众号：✔
9. tf.nn.softmax_cross_entropy_with_logits 将在未来弃用
10. TensorFlow和Keras中的Crop函数
11. 如何在TensorFlow中使用并行数据加载，解决视频读取问题 公众号：✔
12. PLSTM的TensorFlow实现与解释 公众号：✔
13. TensorFlow中的LSTM源码理解与二次开发 公众号：✔
14. tf.concat, tf.stack和tf.unstack的用法
15. tf.squeeze()用于压缩张量中为1的轴
16. tf.transpose()交换张量位置（矩阵转置）
17. tf.nn.conv2d()使用
18. 利用numpy数组保存TensorFlow模型的参数 公众号：✔
19. Effective TensorFlow Chapter 9: TensorFlow模型原型的设计和利用python ops的高级可视化 公众号：✔
20. Effective TensorFlow Chapter 8: 在TensorFlow中的控制流：条件语句和循环 公众号：✔
21. Effective TensorFlow Chapter 7: TensorFlow中的执行顺序和控制依赖 公众号：✔
22. Effective TensorFlow Chapter 6: 在TensorFlow中的运算符重载 公众号：✔
23. Effective TensorFlow Chapter 5: 在TensorFlow中，给模型喂数据(feed data) 公众号：✔
24. Effective TensorFlow Chapter 4: TensorFlow中的广播Broadcast机制 公众号：✔
25. Effective TensorFlow Chapter 3: 理解变量域Scope和何时应该使用它 公众号：✔
26. Effective TensorFlow Chapter 2: 理解静态和动态的Tensor类型的形状 公众号：✔
27. tf.one_hot()进行独热编码
28. TensorFlow中的高阶函数：tf.map_fn() 公众号：✔
29. tf.device()指定运行设备
30. TensorFlow模型的保存和持久化 公众号：✔
31. TensorlFlow中的一些坑

深度学习框架相关 pytorch

1. Shift-GCN中Shift的实现细节笔记，通过torch.index_select实现 公众号：✔
2. 测量pytorch代码段的运行时间
3. 在pytorch中停止梯度流的若干办法，避免不必要模块的参数更新 公众号：✔
4. 在pytorch中对非叶节点的变量计算梯度 公众号：✔
5. pytorch手动实现滑动窗口操作，论fold和unfold函数的使用 公众号：✔
6. 在pytorch中动态调整优化器的学习率
7. Pytorch的BatchNorm层使用中容易出现的问题 公众号：✔
8. [临时笔记] pytorch报错消息及其解决纪录
9. 在pytorch中进行预训练模型的加载和模型的fine-tune操作
10. 在TensorFlow中自定义梯度的两种方法 公众号：✔
11. 《临时笔记》用pytorch踩过的坑 公众号：✔
12. pytorch中的L2和L1正则化，自定义优化器设置等操作
13. 在pytorch中的双线性采样（Bilinear Sample） 公众号：✔
14. <深度学习系列>基于numpy和python的反向传播算法的实现与分析
15. pytorch中的ReLU与inplace原地操作的一些注意点 公众号：✔

深度学习框架 Paddle

1. Paddle静态图训练时在线验证
2. 浅论分布式训练中的recompute机制 公众号：✔
3. 【工程实践系列】在paddle数据加载器中返回URL或者其他文本信息 公众号：✔

深度学习框架 caffe2和caffe

1. 《临时笔记》caffe2使用记录

C/C++与底层原理

1. C语言中去除不必要的内存引用可以有效地提高性能
2. c语言中内循环和外循环的位置可能产生性能上的区别
3. [C语言朝花夕拾] C语言中的命令行输入参数判断
4. 用“位操作”取代“取模操作”判断奇数偶数
5. c语言运行时出现segment fault的原因
6. 一文理解C语言中的volatile修饰符
7. C语言中的内存布局(memory layout)
8. do{}while(false)结构的妙用
9. const修饰符并不保证运行时的常数性质
10. 引用与指针的区别
11. C语言函数内形式参数的入栈顺序是UB行为

CUDA编程相关

1. [临时笔记] cuda报错日常

深度学习系统搭建

1. [darknet源码系列-1] darknet源码中的常见数据结构 公众号：✔
2. [darknet源码系列-2] darknet源码中的cfg解析 公众号：✔
3. [darknet源码系列-3] 在darknet中，如何根据解析出来的配置进行网络层构建 公众号：✔
4. 数据并行和模型并行的区别
5. Conv卷积层的反向求导细节 公众号：✔
6. 基于代码的Pooling池化层的反向求导细节 公众号：✔
7. 《AutoDiff理解》 之第一篇， 自动求导技术在深度学习中的应用
8. [卷积算子加速] im2col优化 公众号：✔
9. 万字长文详解静态图和动态图中的自动求导机制 公众号：✔
10. 【Debug危机系列】Embedding层的千层套路 公众号：✔

深度学习推理引擎

1. ＜转载＞ TensorRT 实战教程

机器学习原理

1. 数据，模型，算法共同决定深度学习模型效果 公众号：✔
2. 一文理解Ranking Loss/Contrastive Loss/Margin Loss/Triplet Loss/Hinge Loss 公众号：✔
3. 参数和非参数模型——当我谈到参数我在说些什么 公众号：✔
4. 在深度学习中，对于特征融合方式的思考——论pointwise addition和concatenate的异同
5. 损失函数的可视化——浅论模型的参数空间与正则 公众号：✔
6. 曲线拟合问题与L2正则 公众号：✔
7. 贝叶斯曲线拟合以及对L2正则化的贝叶斯解释 公众号：✔
8. 生成模型和判别模型的区别
9. 分类问题的两大过程，推理和决策
10. 贝叶斯决策 公众号：✔
11. 概率学派和贝叶斯学派的区别
12. 理解多维高斯分布
13. Logistic regression(逻辑斯蒂回归)
14. 在机器学习中epoch, iteration, batch_size的区别
15. 经验误差，泛化误差
16. <深度学习系列>深度学习中激活函数的选择
17. 机器学习性能评估指标
18. 机器学习模型的容量，过拟合与欠拟合
19. 训练集，测试集，检验集的区别与交叉检验
20. 《深度学习系列》反向传播算法的公式推导
21. 机器学习系列之 感知器模型
22. ＜机器学习系列＞ 线性回归模型
23. 随机梯度下降法，批量梯度下降法和小批量梯度下降法以及代码实现
24. 梯度下降法求函数最小值 基于matlab实现
25. 讨论数据增强（data augmentation）的有效性
26. 线性系统与非线性系统 公众号：✔
27. 模型无关的全局特征依赖分析方法 I ——部分依赖曲线分析与条件依赖曲线分析 公众号：✔

人体动捕相关

1. 视频人体动作捕捉技术 公众号：✔
2. 人体动作捕捉与SMPL模型 (mocap and SMPL model) 公众号：✔

计算机图形学相关

1. 薄板样条插值(Thin Plate Spline) 公众号：✔
2. 从手写字符匹配开始，简要解释局部仿射变换(local affine transformation) 公众号：✔
3. [GAMES101学习笔记] 角度与立体角

深度学习trick

1. 深度学习debug沉思录第二集
2. 深度学习debug沉思录

SVM系列

1. 《SVM笔记系列之一》什么是支持向量机SVM 公众号：✔
2. 《SVM笔记系列之二》SVM的拉格朗日函数表示以及其对偶问题 公众号：✔
3. 《SVM笔记系列之三》拉格朗日乘数法和KKT条件的直观解释 公众号：✔
4. 《SVM笔记系列之四》最优化问题的对偶问题 公众号：✔
5. 《SVM笔记系列之五》软间隔线性支持向量机 公众号：✔
6. 《SVM笔记系列之六》支持向量机中的核技巧那些事儿 公众号：✔

图片动画化技术

1. 运动的零阶分解与一阶分解以及在图片动画化中的应用 I 公众号：✔

网络工程

1. <笔记>MTU和MSS的区别
2. <理解共享信道访问协议系列1>共享信道前世今生

Linux运维与深度学习环境搭建

1. [linux命令] 如何在用户终端退出后，不挂起或退出用户正在运行的程序
2. 什么是DevOps
3. 利用远程服务器实现内网穿透访问jupyter notebook
4. [Linux配置笔记] vimplus的配置过程及其报错纪录
5. [linux常用命令] rsync 用于远程/本地 文件的拷贝（可以实现差量复制）
6. 深度学习常用软件纪录
7. ubuntu文件系统常用文件备忘录
8. 在linux系统中ftp或者docker的数据卷中使用mount --bind
9. linux中常用的用户与用户组相关命令
10. 在linux系统上部署FTP服务时进行权限管理(利用chown,chmod命令实现)
11. 【持续更新】一些linux命令积累——字符串处理相关
12. tmux的分割线变成『x』『q』的解决方法

Python相关

1. python修饰器教程
2. einsum的基础使用
3. python使用日常备忘录

物体检测算法

1. Object Detection中的mAP
2. 《土豆学Object Detection》 之 RCNN初探

数据融合与数据处理相关

1. 一文理清卡尔曼滤波，从传感器数据融合开始谈起 公众号：✔
2. chimerge连续数据离散化算法[MATLAB代码]

搜索/推荐/广告系统相关

1. GBDT-梯度提升决策树的一些思考 公众号：✔
2. 搜索系统中的一些指标
3. 【论文极速看】MOBIUS 一种构建负样本的方法 公众号：✔
4. 从零开始的搜索系统学习笔记 公众号：✔
5. 视频分析与多模态融合之一，为什么需要多模态融合 公众号：✔
6. 搜索系统相关术语笔记
7. 图文搜索系统中的多模态模型：将MoCo应用在多模态对比学习上 公众号：✔
8. 搜索系统中的Learning To Rank模型：GBRank 公众号：✔
9. 【用户行为学研究】 从用户点击数据中构造隐式反馈 公众号：✔
10. 【见闻录系列】我所理解的搜索业务二三事 公众号：✔
11. 【见闻录系列】浅谈搜索系统与推荐系统的一点区别 公众号：✔

树模型

1. GBDT-梯度提升决策树的一些思考 公众号：✔
2. 为何基于树的模型在表格型数据中能优于深度学习？ 公众号：✔

Learning To Rank

1. 搜索系统中的Learning To Rank模型：GBRank 公众号：✔

自然语言处理

1. 『清华ERNIE』 与 『百度ERNIE』 的爱恨情仇 公众号：✔
2. NLP中的一些术语积累
3. Transformer代码随记 公众号：✔
4. 【论文极速看】ERNIE 3.0 通过用知识图谱加强的语言模型 公众号：✔
5. Transformer的mask id两三事

工程优化

1. 集群深度学习训练实践笔记——多进程Dataset设计 公众号：✔
2. 集群深度学习训练实践笔记——分布式数据读取器 公众号：✔

视觉模型backbone

1. 【论文极速读】 Efficient Net：一种组合扩大卷积网络规模的方法 公众号：✔

见闻录

1. 工作一年时期的土豆总结——复杂度和困难度 公众号：✔
2. 【见闻录系列】我所理解的“业务” 公众号：✔
3. 【见闻录系列】我所理解的搜索业务二三事 公众号：✔

模型训练 & 分布式训练

1. 混合精度训练场景中，对比学习损失函数的一个注意点 公众号：✔
2. 浅论分布式训练中的recompute机制 公众号：✔

Debug 日志

1. 【Debug危机系列】 记一次opencv相关的debug过程 公众号：✔

可视化分析

1. 【数据物语系列】 漫谈数据分布可视化分析 公众号：✔

其他

1. markdown数学公式编辑
2. 设置可见GPU，进行多显卡深度学习训练
3. 什么是DevOps
4. 《临时笔记》 编程生涯中的傻傻的bug问题
5. 在vs code上进行远程深度学习开发环境简易搭建
6. 《临时笔记》一些深度学习中的英文术语的纪录
7. SIFT,SUFT等具有知识产权的算法将不能在opencv4中使用
8. 《临时笔记》 一些计算机视觉的英语术语的纪录
9. 《临时笔记》 编程生涯中的傻傻的bug问题
10. 【笔记】——与bug硬刚的日子
11. 【工具总结】tmux使用小集锦
12. 【git笔记】git使用杂问题收录