- 博客(46)
- 收藏
- 关注
RSS订阅原创 随机微分方程与 Ito Lemma 的关系
随机微分方程与 Ito Lemma 的关系一、随机微分方程的由来二、随机微分方程的求解三、随机积分的仿真四、小结一、随机微分方程的由来随机微分方程是我们研究随机现象的重要数学工具，我们可以通过一个简单的例子来进行说明。例1（The Vasicek interest rate model）VIR 模型是借贷利率的标准模型，它描述的是瞬时利率（instantaneous interest rate，rtr_trt）在均值( μ\muμ )附近上下波动的现象，该模型的数学描述是：drt=c[μ−rt]
2021-05-12 21:39:31
1846
2
原创 QR分解的几何解释，并荐书《Algebra, Topology, Differential, Calculus, and Optimization Theory》
目录一、简介二、QR分解三、基于超平面反射（Hyperplane Reflection）的 QR Decomposition四、QR分解的代码实现参考文献一、简介首先，我在这里推荐一本好书——《Algebra, Topology, Differential, Calculus, and Optimization Theory for Computer Science and Engineeri...
2019-12-24 16:42:07
2865
2
原创 《Few-Shot Learning with Graph Neural Networks》——少样本学习与图神经网络
目录一、简介二、【2】实现过程分析2.1 数据的准备2.2 GNN 网络2.2.1 特征提取网络2.2.2 顶点表达2.2.3 Adjacency 层2.2.4 Loss的解析2.3 数据验证所说明的问题三、GNN 的认识四、小结索引欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表...
2019-11-22 12:28:13
6860
10
原创 写给自己看的yolo 3
目录一、Yolo 3 简介二、 Yolo 3 的实现2.1 特征提取 Backbone2.2 特征金字塔（feature pyramid networks）2.3 输出检测部分——FCN2.4 Things We Tried That Didn’t Work三、小结一、Yolo 3 简介Yolo 3 【1】是一款2018年推出的简单、高效的目标检测算法，它仅用卷积层，实现了一个全卷积网络（Fu...
2019-10-01 07:25:36
397
原创 CornerNet：不用 Anchor Boxes 也能进行目标检测（Object Detection）
一、简介目标检测（Object Detection）是图像识别的一个重要领域，近来看了一篇19年8月的相关综述《Recent Advances in Deep Learning for Object Detection》[1]，发现自己又落伍了，现在已经到了不用 anchor boxes也能进行目标定位了。我们来看看文中给出的一个 Object Detection 的发展脉络：图1 基于深度...
2019-09-04 20:58:42
852
原创 从 PixelCNN 到 Gated PixelCNN，再到 Conditional Gated PixelCNN
一、简介PixelCNN 是一个生成模型，2016年出自DeepMind的Aaron van den Oord[1]。[5]指出当前的生成模型主要可分为两类：基于最大似然的模型，比如：各类VAE（变分自编码器） 和 autoregressive models（自回归模型）隐式生成模型，比如：Gan（生成对抗网络）PixelCNN属于第一种模型，即最大似然模型。这种生成模型较Gan的优势...
2019-07-13 07:56:33
11051
7
原创 通过代码学习 VQ-VAE
VQ-VAE（Vector Quantised Variational AutoEncoder，矢量量化变分自动编码）是【1】提出的一种离散化VAE方案，近来【2】应用VQ-VAE得到了媲美于BigGan的生成模型。由此可见， VQ-VAE 有着强大的潜力，且【1】和【2】皆为DeepMind的作品，让我们通过代码来认识它，学习它。一、简介光看论文一知半解，需要看看它的实现。我在GitHub中...
2019-06-30 15:24:28
16466
5
原创 混合高斯聚类的一种实现方法
近来看了一篇文章《Hierarchical Clustering of a Mixture Model》【1】，它是一篇比较早的文章了，2005年，Jacob Goldberger Sam Roweis，Department of Computer Science, University of Toronto。文中讲到一种简单的高斯聚类方法，近来有文章将它用于目标检测（Object Detecti...
2019-06-22 16:00:14
1023
转载 近年来目标检测方面值得一看的论文（到CVPR 2019）
CVPR 2019Generalized Intersection over Union: A Metric and A Loss for Bounding Box Regressionhttps://arxiv.org/pdf/1902.09630.pdfFeature Selective Anchor-Free Module for Single-Shot Object Detectio...
2019-05-24 15:08:20
1330
原创 不动点理论在《A Distributional Perspective on Reinforcement Learning》上的应用
Fixed point理论是 Banach Space 中重要的理论工具。它常被用来讨论某个空间解的存在性，并由此发展出通过迭代的方式进行问题求解的算法。在[1]中，Fixed Piont理论处于整个算法的核心位置，是以分布式Bellman方程代替期望值Bellman方程的理论基础。本文将分成两个部分浅析之：第一部分 Fixed Point的迭代算法介绍；第二部分 Distributional 算...
2019-03-22 11:58:01
1445
原创 从 Semi-Norms（准范数） 到 Norms（范数）
“什么是 Semi-Norms 什么是 Norms？它们之间有什么关系，为什么有了Norm还要有Semi-Norm呢？它们之间如何转换呢？”以上是我在学习Semi-Norms（准范数）和 Norms（范数）时心中一直萦绕的问题，而且很久了，许多书都没讲清楚，直到我看到了这本：《A Primer on Hilbert Space Theory ：Linear Spaces, Topologica...
2019-03-18 21:56:24
3493
原创 《A Distributional Perspective on Reinforcement Learning》的理解
参考：1、《A Distributional Perspective on Reinforcement Learning》https://arxiv.org/abs/1707.068872、《Distributional Bellman and the C51 Algorithm》https://flyyufelix.github.io/2017/10/24/distributional-b...
2019-01-28 16:34:30
3040
2
转载 抄书——最优化的理论与方法（7）——数学基础（无约束问题的最优性条件）
以下内容主要抄自抄袁亚湘的《最优化理论与方法》的 1.4 无约束问题的最优性条件本节研究无约束问题：minf(x),x∈Rn(1.4.1)\min f(x),\quad x\in R^n\qquad(1.4.1)minf(x),x∈Rn(1.4.1)的最优性条件，它包括一阶条件和二阶条件。极小点的类型有局部极小点和总体最小点两种。定义 1.4.1如果存在 δ>0\...
2019-01-28 11:23:59
1000
原创 两个空间（N维欧氏空间、Lebesgue空间）的Holder不等式
Holder不等式是范数理论中重要的不等式，表述如下：∥xy∥1≤∥x∥p∥y∥q, where p>0,q>0, and 1p+1q=1(1)\Vert xy\Vert_1\le \Vert x \Vert_p\Vert y \Vert_q,\quad \text{ where } p\gt 0, q\gt 0...
2019-01-10 12:05:17
3684
转载 抄书——最优化理论与方法（6）——凸集的分离和支撑
以下内容主要抄自抄袁亚湘的《最优化理论与方法》的 1.3.3 凸集的分离和支撑凸集的分离和支撑是研究最优性条件的重要工具。我们首先讨论闭凸集外一点与闭凸集的极小距离。定理 1.3.17设 S∈RnS\in R^nS∈Rn 是非空闭凸集，y∉Sy\notin Sy∈/S，则存在唯一的点 xˉ∈S\bar x\in Sxˉ∈S，它与 yyy 距离最短。进一步，xˉ\bar xxˉ 与 yyy...
2019-01-08 17:05:37
1925
转载 抄书——最优化的理论与方法（5）——数学基础（凸集和凸函数）
以下内容主要抄自抄袁亚湘的《最优化理论与方法》的 1.3 凸集和凸函数凸性（Convexity）在优化化理论和方法的研究中起着重要作用。1.3.1 凸集定义 1.3.1设集合 S⊂RnS\subset R^nS⊂Rn，如果对于任意 x1,x2∈Sx_1,x_2\in Sx1,x2∈S，有αx1+(1−α)x2∈S,∀α∈[0,1](1.3.1)\alpha x_1+(1-\alp...
2018-12-30 10:17:13
3397
转载 抄书——最优化的理论与方法（5）——数学基础（函数和微分）
以下内容主要抄自抄袁亚湘的《最优化理论与方法》的 1.2.5 函数和微分连续函数 f:Rn→Rf:R^n\to Rf:Rn→R 称为在 x∈Rnx\in R^nx∈Rn 连续可微，如果(∂f∂xi)(x)\left( \frac{\partial f}{\partial x_i}\right)(x)(∂xi∂f)(x) 存在且连续，i=1,2,⋯ ,ni=1,2...
2018-12-18 09:46:29
924
转载 抄书——最优化的理论与方法（4）——数学基础（秩一校正）
矩阵的秩一校正在最优化中经常用到。那什么是秩一校正呢？以下主要内容部分抄自抄袁亚湘的《最优化理论与方法》。定义：秩一校正( rank-1 update)设 A∈Rn×nA\in R^{n \times n}A∈Rn×n 是非奇异矩阵，u,v∈Rn×1u,v\in R^{n\times 1}u,v∈Rn×1 是任意向量，则称 A+uvTA+uv^TA+uvT 是 AAA 的秩一校正。其实，u...
2018-12-12 18:19:38
6782
6
转载 抄书——最优化的理论与方法（3）——数学基础（矩阵的Rayleigh商）
定义 1.2.4：设 AAA 是 n×nn\times nn×n Hermite 矩阵，u∈Cnu\in C^nu∈Cn，则称：Rλ(u)=u∗Auu∗u,u≠0(1.2.28)R_{\lambda}(u)=\frac{u^*Au}{u^*u},u\neq0 \qquad(1.2.28)Rλ(u)=u∗uu∗Au,u̸=0(1.2.28)为 Hermite 矩阵 AAA 的 Ray...
2018-12-02 22:41:57
2424
转载 抄书——最优化的理论与方法（2）——数学基础（矩阵求逆和广义逆）
定理1.2.3 （von Neumann引理）设 E∈Rn×n,I∈Rn×nE\in \mathbb R^{n\times n},I \in \mathbb R^{n\times n}E∈Rn×n,I∈Rn×n 是单位矩阵， ∥⋅∥\Vert \cdot \Vert∥⋅∥ 是满足 ∥⋅∥=1\Vert \cdot \Vert=1∥⋅∥=1 的相容矩阵范数（诱导 p-范数和 Frobenius范数...
2018-11-29 21:36:27
812
2
原创 抄书——叶戈罗夫定理的证明
今天抄郭懋（mao）正《实变函数与泛函分析》中的定理2.3.3——叶戈罗夫定理。叶戈罗夫定理：设 f(x),f1(x),f2(x),⋯ ,fk(x),⋯f(x),f_1(x),f_2(x),\cdots,f_k(x),\cdotsf(x),f1(x),f2(x),⋯,fk(x),⋯ 是可测集E上几乎处处有限的可测函数集，并且 m(E)<∞m(E)...
2018-11-20 23:36:44
7436
2
转载 抄书——最优化的理论与方法（1）——数学基础（范数部分）
今天抄袁亚湘的《最优化理论与方法》。这本书1997年就出版了，距今20余年，近来翻开仍觉得很值得细细研读。于我而言，仔细研读就是抄，而把它抄在自己的博客上，是为了让自己能坚持下去，就如在朋友圈上嗮出每天跑了多少路似的。希望以这种方式，能督促我坚持下去。..1.2.1 范数定义1.2.1 映射 ∥⋅∥:Rn→R\Vert \cdot \Vert:\mathbb R^n\rightarrow ...
2018-11-12 21:13:58
1677
原创 谱归一化（Spectral Normalization）的理解
《Spectral Normalization for Generative Adversarial Networks》【1】是Takeru Miyato在2018年2月发表的一篇将谱理论应用于Gan上的文章，在2017年，本文的第3作者Yuichi Yoshida就发表了一篇著名的谱范数正则（Spectral Norm Regularization）的文章【2】，如有兴趣也可参看我的上一篇Blo...
2018-11-02 11:48:12
37108
11
原创 谱范数正则（Spectral Norm Regularization）的理解
近来，DeepMind的一篇论文《LARGE SCALE GAN TRAINING FORHIGH FIDELITY NATURAL IMAGE SYNTHESIS》（arXiv:1809.11096v1）[1]（通过大规模Gan训练，得到高精度的合成自然图像）引起了广泛的关注。其中，为保证其大批次（batch够大）Gan训练的稳定性，[1]引入了谱范数正则技术（Spectral Norm Re...
2018-10-30 20:06:44
20870
13
原创 Spectral Matting的python实现
我Spectral Matting在Github上有MATLAB的实现，却没找到Python的实现，于是我参考了以下两个代码源：[1]https://github.com/yaksoy/SemanticSoftSegmentation[2]https://github.com/MarcoForte/closed-form-matting[1]是语义软分割（Yagiz Aksoy, Tae-H...
2018-10-25 22:09:11
1751
17
转载 抄书——泛函分析讲义（上册）张恭庆——1.3列紧集
“ 列紧 ”是用来描述距离空间中一个子集具有某方面的自身特性。凡是具有 列紧 特性的子集（集合），由其元素构成的任意无尽点列（元素点构成的序列），皆存在收敛子列（子序列）。此处用“无尽”表示点列中元素数量的无穷，以避免与点列自身数值的“无穷”相混淆。定义1：集合是列紧的设 (H,ρ)(\mathcal H,\rho)(H,ρ) 是一个距离空间，AAA 是其一子集，称 AAA 是 列紧 的，如果...
2018-09-30 12:46:58
6528
原创 Courant-Fischer定理、谱图分析和图的分割
，“In linear algebra and functional analysis, the min-max theorem, or variational theorem, or Courant–Fischer–Weyl min-max principle, is a result that gives a variational characterization of eigenvalue...
2018-09-26 11:39:43
8092
1
翻译 谱图（Spectral Graph Theory）理解（2）
参考文章：Introduction to Spectral Graph Theory and Graph Clustering作者：Chengming Jiang，ECS 231 Spring 2016 University of California, Davis本文的目的是进行计算机图像分割：图1 图像分割一、预备知识关于图（G）、度矩阵（D）、邻接矩阵（A）皆在上一篇理解中交代过...
2018-09-19 12:13:40
5293
8
翻译 谱图（Spectral Graph Theory）理解（1）
近日看《Semantic Soft Segmentation》（语义软分割），其中一个核心思想是：将来自传统图像处理的底层特征和来自Deep Learning的高级特征，通过谱图（Spectral Graph）框架进行融合。此融合能综合多种处理方法的结果，得到一个很好的处理效果，而且为我们提供了一种机器学习的融合思路和方法。谱图是图论（Graph Theory）与线性代数（Linear Alge...
2018-09-18 19:52:49
19617
7
原创 Spectral Matting 方法的理解
《Spectral Matting》[1]是来自Anat Levin的2008年的论文，同年他的另一篇论文是《A Closed-Form Solution to Natural Image Matting》[2]（我在上一篇博客中已讨论）。2018年的《Semantic Soft Segmentation》[3]也来自CSAIL.MIT，可谓一脉相承，[3]中采用[1]的 Spectral Mat...
2018-09-06 21:53:29
3040
5
原创 《A Closed-Form Solution to Natural Image Matting》的一句话的理解
《A Closed-Form Solution to Natural Image Matting》是作者：作者：Anat Levin, Dani Lischinski, and Yair Weiss等人在2008年2月的一篇文章，它所用抠图的方法是文章《Semantic Soft Segmentation》（2018，来自MIT CSAIL的YAĞIZ AKSOY等人）的基础，因此我仔细阅读了它。...
2018-09-01 13:43:23
3978
3
原创 Pytorch构建模型的技巧小结（1）
1、保存模型参数和加载模型参数（A）保存参数# 2 ways to save the nettorch.save(net1, 'net.pkl') # save entire nettorch.save(net1.state_dict(), 'net_params.pkl') # save only the parameters（B）加载参数# copy net1's p...
2018-08-21 17:45:37
1514
原创 Bayesian Network的辅助模型
Bayesian Network是有向无环图（directed acyclic graph, DAG），其推断的过程是由根节点（root node）逐次扩散到叶节点（leaf node）的过程，在Bayesian Network的一个节点可以描述为以下方向图： 图1 Bayesian Network的一个节点 图1中 ZjZj\mathbf Z_j 是Bayesian Network中的一...
2018-08-19 14:15:56
401
原创 VAE与GAN的关系(2)
上文从 KL(q(x,y)‖p(x,y))KL(q(x,y)‖p(x,y))KL(q(\mathbf x, y)\Vert p(\mathbf x, y)) 推导出GAN的两个Loss，并给出生成器Loss的正则项设计思路，接下来我们仍从引入隐变量构成联合概率分布角度推导VAE的Loss。 首先，我们观察KL(p(x,z)‖q(x,z))KL(p(x,z)‖q(x,z))KL(p(\mathbf...
2018-08-16 10:59:03
1371
原创 VAE与GAN的关系(1)
本文参考：Variational Inference: A Unified Framework of Generative Models and Some Revelations，原文：arXiv:1807.05936 文章有一个中文链接：https://www.paperweekly.site/papers/211 文章来自中山大学 数学学院 苏剑林。文中为两个生成模型建立了统一的框架，并提...
2018-08-15 22:50:40
14374
1
原创 VAE的推导
参考文章《Auto-Encoding Variational Bayes》. 假设数据集是独立同分布（I.I.D），每个样本皆服从随机分布P(⋅)P(⋅)P(\cdot)，数据集有N个样本。我们构造由N个随机变量构成的联合分布P(x1,...,xN)=∏Ni=1P(xi)P(x1,...,xN)=∏i=1NP(xi)P(\mathbf x_1,\text{...},\mathbf x_N)=\p...
2018-07-28 11:17:56
3558
原创 GAN的Loss的比较研究（5）——能量Loss
上一篇文章讲的是《BEGAN: Boundary Equilibrium Generative Adversarial Networks》将能量函数（Energy）与Wasserstein Distance相结合，再辅之以比例反馈控制，让GAN迅速收敛，并保持了多样性。具体是：让Auto-Encoder作为Discriminator，将原图与重建图的逐点差异（pixel-wise error...
2018-07-25 12:59:41
3434
原创 GAN的Loss的比较研究（4）——Wasserstein Loss理解（2）
关于Wasserstein Distance的计算，似乎还有一个简单一点的计算方法，在《BEGAN: Boundary Equilibrium Generative Adversarial Networks》中给出了一个推导的过程： Wasserstein Distance的定义式如下： W(ℙr,ℙg)=infγ∈Π(ℙr,ℙg)E(x,y)∼γ[‖x−y‖](1)W(Pr,Pg)=infγ...
2018-07-23 12:51:53
5557
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人