- 博客(50)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 BatchNorm &LayerNorm
很早以前就遇到了 BatchNorm 和 LayerNorm, 当时只是粗略地知道它们是对数据进行了标准化: x = (x−μ)/σ. 这当然很简单, 但实际的数据是比较复杂的. 对于 CV 任务的数据 image 而言, 一个 batch 的数据通常是这样的: [B, C, H, W]; 对于 NLP 任务的数据 sentence 而言, 一个 batch 的数据通常是这样的: [B, T, D]. 那 XXNorm 是怎么算的? 肯定不是一下算整个 batch 的所有数的.
2024-07-10 22:32:07
535
原创 fairseq (Facebook AI Research) 包
最近在看一个用 RNNs 网络做Translation 任务的程序, 关于数据处理部分, 主要用到工具包和fairseq, 前者主要是对文本进行分词处理, 后者则是对已分词的文本进行二进制化和快速加载. 包越方便使用, 就说明包装得越狠, 也就越令人一头雾水, 本文简要记录学习过程.
2024-06-24 16:09:06
463
原创 深入学习 torch.distributions
前几天分几篇博文精细地讲述了《von Mises-Fisher 分布》, 以及相应的 PyTorch 实现《von Mises-Fisher Distribution (代码解析)》, 其中以 Uniform 分布为例简要介绍了 torch.distributions 包的用法. 本以为已经可以了, 但这两天看到论文 The Power Spherical distribution 的代码, 又被其实现分布的方式所吸引.
2024-05-25 10:10:46
847
翻译 Box–Muller Transform
这几天看了那么多采样, 回过头来, 仍然不知道最基本的 Normal Distribution 怎么采样. 于是查看, 有很多种采样方法, 不过多数还是要, 或者使用 rejection method, 似乎只有Box–Mullermethod 是精确的解析式方法.但 Wikipedia 对其的介绍很简洁, 看不出个所以然来. 即使是, 也讲的一头雾水. 最终看到 B 站视频, 才豁然开朗, 这里记录其推导过程.
2024-05-24 22:30:25
53
原创 PyTorch 中 Distribution 采样对参数的梯度
torch.distribution 模块实现了大多数常见的分布. 对于复杂的分布, 你可以继承基类 Distribution 自己实现. 如果参数设置为 requires_grad=True; 不必纠结梯度是怎样的, 它的计算要根据简单分布的 Sampling 和 Transform 参数两部分得到.
2024-05-21 07:42:55
897
原创 von Mises-Fisher Distribution (Appendix 2)
von Mises Fisher Distribution 公式推导
2024-04-19 22:35:25
762
原创 von Mises-Fisher Distribution (Appendix 1)
von Mises Fisher Distribution 公式推导
2024-04-10 09:24:10
440
原创 von Mises-Fisher Distribution
von Mises-Fisher 分布的均值、熵、KL 散度以及采样等的 PyTorch 实现.
2024-03-21 16:48:25
1306
1
原创 Modified Bessel Function of the First Kind
最近接触到 von Mises–Fisher distribution, 其概率密度函数归一化常数中含有第一类修正贝塞尔函数. 查阅 Wikipedia, 其公式有定义式和积分式. 其计算比较麻烦, 更不用说求导了, 好在有递推式, 本文对其递推式进行推导。
2024-03-07 20:30:18
970
原创 PyTorch 中的 apply [autograd.Function]
源码: 是 PyTorch 中用于存储子模块的容器，而 方法可以应用一个函数到 ModuleList 中的每个子模块。具体来说， 方法会递归地将指定的函数应用到 ModuleList 中的每个子模块以及每个子模块的子模块上。这个方法的语法如下：其中 是要应用的函数，它接受一个 参数并且没有返回值。在 apply() 方法被调用后，会遍历 ModuleList 中的每个子模块，并把这个函数应用到每个子模块上。例如，假设有一个 ModuleList 包含了若干线性层（Linear），我们想要初始化所有
2024-03-03 09:27:59
1472
原创 torch.utils.data
问题，就不追究了，反正尽量用 numpy 或 pytorch tensor 吧。的其他参数，就会懵逼。那就看一看官方文档，了解一下。然而，背后到底干了什么，我们不清楚，甚至遇到。访问数据时，由于 Python 对象的。有一个需要注意的地方是内存增长问题，当。上图是数据加载的整体框架图，官网说。访问，后者的数据只能通过迭代器。的数据集的访问顺序由迭代器决定。提供一批下标，取得一批数据后由。并行地加载数据，并通过。
2024-02-17 20:34:50
1003
原创 argparse
在命令窗口运行 Python 程序时，有时需要传入一些参数，就用到了argparse模块，它有非常强的解析命令行参数的能力。原始的命令行参数获取方式sys.argv；argparse的基本用法；背后的运作机制；shell编程；更好的方式；
2024-01-10 17:19:22
877
原创 PIL/Pillow
PIL(Python Imaging Library)是一个用于图像处理的 Python 库。它提供了广泛的功能，包括图像加载、保存、调整大小、裁剪、旋转、滤镜应用等。由于 PIL 的开发停止在 2009 年，因此推荐使用其后续的维护版本 Pillow。Pillow 是一个兼容 PIL 接口的现代图像处理库，提供更多功能和更好的性能。
2023-12-20 11:14:25
1349
原创 torch.gather(...)
有点绕，很多博客画各种图讲各种故事来解释如何从 input 张量中 gather 位置 index 处的值，乱七八糟，我是都没看明白。所以去官网看了文档。
2023-12-18 21:08:29
1066
原创 pytorch 数据预加载
本文介绍一个工具，它包装，接收该类的一个实例loader，启动一个线程t，创建一个队列qt将loader中的数据预加载到队列q中, 以在模型计算时也能启动启动数据加载程序, 节省数据加载时间。"""** 包装 torch.utils.data.DataLoader, 接收该类的一个实例 loader, 启动一个线程 t, 创建一个队列 qt 将 loader 中的数据预加载到队列 q 中, 以在模型计算时也能启动启动数据加载程序, 节省数据加载时间。
2023-12-04 23:37:58
1646
原创 Python 上下文管理器
环境时，文件会自动关闭。这东西叫上下文管理器，现在让让我们学习一下这个神奇的家伙。，讲的比较简单易懂，我就是看这篇博文学习上下文管理器的。在 Python 中读写文件，我们都用。，这样不用担心忘记关闭文件流，因为离开。那应该能返回其他东西吧？
2023-11-23 22:50:50
90
原创 Python 包 __init__.py
文件，Python 也会把该目录当作普通包处理，这被称为 “namespace package”，其主要目标是支持更为复杂的包结构。是 Python 中的一个特殊文件，它存在于每个 Python 包中。这个文件在 Python 中是非常重要的，它告诉 Python，该目录应被视为一个 Python 包。是一个特殊的文件，用于标识该目录是一个 Python 包。文件的目录，并将其视为一个有效的包。然而，在旧版本的 Python（3.2及之前）中，请注意，随着 Python 3.3 版本的引入，
2023-11-22 11:04:21
165
原创 python 中的 logging 详解
什么是 logging.StreamHandler()？它为什么将信息输出到控制台？logging.getLogger().addHandler(console) 到底做了什么？想解答这些问题，探索 logging 更丰富的用法，于是我去查看了官方文档教程，在这里对这次学习进行记录整理。本文不追究文档的细节，对基础的知识也默认已知，主要目的是建立对 logging 整体架构和工作方式的认识。
2023-11-16 12:57:44
1658
3
原创 Radon 变换与边缘概率分布
在学习最优传输(Optimal Transport)时，接触到了 Sliced-Wasserstein Distance (SWD)，顿时懵逼了，它是啥？在 1-D 情况下，Wasserstein Distance 计算非常简单，不必进行复杂的求解，直接就有闭式解。SWD 满足所有度量公理，三角不等式继承自 WD，正定性和对称性也是产自 WD，这些都比较直观，不多说了。假设上图中的点的密度代表概率密度，红线是投影方向，虚线对应不同的。，即一个个要积分的线，此时线积分结果就是虚线所穿过的点数，即。
2023-10-23 23:26:14
128
原创 One-dimensional Wasserstein Distance
其实不必担心从右边一点点处挖的时候不够挖，你可以假设后面的即使不够，它也从右边的右边挖过了，再不然假设从右端向左扫描，向左推挖，总能符合实际意义】它们的直观解释差别还挺大的，前者是时刻保持两者扫描过的。，若想运输 mass 以使扫描过的测度相同，则需要的 mass 量为。（还可以从右侧想，右侧的测度分文没动，左边又一样，这个差可不就是。依然从其右侧一点点挖，以使扫描过的部分测度一样，挖的量为。先看第一个式子，它是扫描 q 进行积分的，进行积分的，如下图，扫描至。，对应着已扫描过的空间的测度。
2023-10-22 21:37:42
83
原创 对偶线性规划
下表提供了对偶问题的具体构建方法，这应该是一个结论，但我们不知所以然。当然，照着做确实能把一个线性规划问题转换为其对偶问题，但 why？这只是对标准形式的推导，稍微变化就可以对照上表中的各种情况。这可能经过练习熟练后，才适合这么做，否则一头雾水，也容易出错。单凭这么一段文字，很难想象到底发生了什么，只知道。将原线性规划问题变为了另一个线性规划问题。，那么按照构建表，对偶问题应该是。，就得到了表右边对偶问题。(2) 对于不等式条件。【本质上是拉格朗日对偶】(1) 对于等式条件。
2023-09-20 09:15:00
327
原创 积分变换(Integral Transform)
积分变换：通过积分将一个函数从它的原始函数空间映射到另一个函数空间，在新的函数空间中，原始函数的一些性质可能比在原始函数空间中更容易表征和操作。
2023-09-09 23:37:54
2002
原创 OT2: Wasserstein Generative Adversarial Networks
为学习最优传输问题（Optimal Transport），拜读了博客《最优运输（Optimal Transfort）：从理论到填补的应用》，博文里简要介绍了三篇经典论文，本系列博文打算精读之，下面是第三篇。认知有限，有不理解之处，也可能有理解不当或错误之处，请读者多多指教。
2023-08-26 15:36:14
151
原创 OT3: Missing Data Imputation using Optimal Transport
为学习最优传输问题（Optimal Transport），拜读了博客《最优运输（Optimal Transfort）：从理论到填补的应用》，博文里简要介绍了三篇经典论文，本系列博文打算精读之，下面是第三篇。认知有限，有不理解之处，也可能有理解不当或错误之处，请读者多多指教。
2023-08-26 15:28:25
184
原创 希尔伯特空间(Hilbert space)
先看 Wikipedia 中对 Hilbert Spaces 的 Definition：首先最熟悉的希尔伯特空间是欧式空间，以R3为例，它定义了点积，给定xy∈R3，它们的点积为：点积满足如下性质：即对称性、线性和正定性。这一段讲述什么是内积：像点积这样的运算，它作用在两个向量上，且满足以上三条性质，就叫内积。给向量空间安装一个内积，就成了内积空间。有限维的内积空间是一个 Hilbert Space。
2023-07-25 14:42:48
2848
1
原创 流形介绍(Manifolds: A Gentle Introduction)[续]
度规张量和之前学的度量矩阵其实是一回事；度规张量随 p∈Mp 的平滑性其实是其实是基向量之间内积的平滑性；有了度规张量，才有了内积、范数、长度等概念。
2023-07-19 14:44:01
194
原创 紧空间(Compact Space)
紧的概念来源于欧式空间的有界闭集，在探索它的性质之后，想对其进行泛化推广。然而，到了一般拓扑空间中，就只能用 “有限开覆盖” 去定义紧了，而且相当抽象，引发了好几个关于紧的概念，一时难以接受。
2023-07-12 15:58:37
1190
1
翻译 流形介绍(Manifolds: A Gentle Introduction)
这篇博客在讲述切向量与切空间时太过简略，以至于把我困住，甚至让我的大脑内部产生激烈的矛盾而头疼，于是借了本书《微分流形初步》(第二版，陈维桓)，加以辅助，才得以理解了切向量。
2023-07-02 17:48:17
1463
原创 Topological Space
比较扯的是，既然是根据度量空间中开集的性质对其进行抽象推广，那你也起个新的名字啊，就好比我们现在对老虎很感兴趣，发现了老虎的一些特点：有锋利的牙齿、有锋利的爪子、奔跑速度很快，根据这三个特点进行抽象，我们得到一个新概念 “老虎”，以后我们见了符合这三个特点的猫咪、狮子啥的，都称为 “老虎”。。。而不是叫猫科动物，是不是很别扭？
2023-06-07 19:47:01
217
原创 OT1：Sinkhorn Distances: Lightspeed Computation of Optimal Transport
为学习最优传输问题（Optimal Transport），拜读了博客《最优运输（Optimal Transfort）：从理论到填补的应用》，博文里简要介绍了三篇经典论文，本系列博文打算精读。
2023-05-17 17:03:59
1303
5
原创 最优传输中的离散测度
这段时间在了解一些最优传输方面的知识，看博客《最优运输（Optimal Transfort）：从理论到填补的应用》，其中的离散测度（Discrete measures）把我给整懵逼了
2023-04-26 15:04:20
469
1
原创 EM 算法抛硬币实例解析《统计学习方法》
最大期望算法(Expectation-Maximization Algorithm, EM)，或 Dempster-Laird-Rubin 算法，是一类通过迭代进行极大似然估计的优化算法，通常用于对包含隐变量(latent variable)或缺失数据(incomplete-data)的概率模型进行参数估计。具体就不说了，看了李航《统计学习方法》讲的 EM 算法，讲得很棒，但对抛硬币的例子迷茫了好久，书中只给了答案，没有具体的推导过程。后来，琢磨抛硬币的计算时，却陷入苦恼。
2023-04-11 15:54:26
147
Python logging 日志的模块化使用示例
2023-11-22
IDEA设置Eclipse风格代码主题
2019-04-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人