Ghy817920-CSDN博客

原创局部线性嵌入（Locally Linear Embedding, LLE）

LLE将D维特征X=[x1,x2,⋯,xN]∈RD×N（xi∈RD）映射到d(d≪D)维空间中（Y=[y1,y2,⋯,yN]∈Rd×N），在原始空间X中的点有着局部线性保持的特性，即xi=j∈N(i)∑wjxj其中N(i)表示在原始空间X中xi的附近的点，相应的权重为wj，LLE希望在降维后的空间Y。............

2022-08-18 13:54:57 480 1

原创拉普拉斯特征映射（Laplacian Eigenmaps, LE）

LE将D维特征X=[x1,x2,⋯,xN]∈RD×N（xi∈RD）映射到d(d≪D)维空间中（Y=[y1,y2,⋯,yN]∈Rd×N），使得在降维后的空间中，尽量使在原始空间X中近的点在新的空间Y中仍然近，远的仍然远。

2022-08-17 23:17:18 792

原创线性判别分析(Linear Discriminant Analysis, LDA)

LDA将D维特征X=[x1,x2,⋯,xN]∈RD×N（xi∈RD）映射到d(d≪D)维空间中（Z=[z1,z2,⋯,zN]=WTX∈Rd×N,W=[w1,w2,⋯,wd]∈RD×d，wi∈RD），使得在降维后的空间中，尽量使同一类的数据聚集，不同类的数据尽可能分散，因此对于每个特征xi。.....................

2022-08-13 00:54:28 272

原创主成分分析(Principal Components Analysis, PCA)

PCA将D维特征X=[x1,x2,⋯,xN]∈RD×N（xi∈RD）映射到d(d≪D)维空间中（Y=[y1,y2,⋯,yN]=WTX∈Rd×N,W=[w1,w2,⋯,wd]∈RD×d，wi∈RD），使得在降维后的空间中，特征的方差最大，即保留主成分。..............................

2022-08-11 20:04:51 408

原创 Pytorch——基于DataParallel单机多GPU并行之batch normalization

import torch.nn as nnimport torchimport osimport torch.nn.functional as Fclass Model(nn.Module): def __init__(self,): super(Model, self).__init__() self.l = nn.Linear(2,1,bias=False) self.b = nn.BatchNorm1d(1) s.

2020-06-06 10:39:57 743

原创 Pytorch——基于DistributedDataParallel单机多GPU并行之broadcast_buffers

在使用Pytorch进行单机多GPU并行时，往往有两种方式，一种是基于DataParallel，另一种是基于DistributedDataParallel。前者太简单了，且速度不如后者，所以不作过多讨论。咱们在使用DistributedDataParallel时，其中有个参数broadcast_buffers，官方给出的解释就是broadcast_buffers (bool): flag t...

2020-03-28 11:16:20 5424 2

原创 Learning in Implicit Generative Models

Learning in Implicit Generative Models对于隐生成模型来说，其直接定义了生成过程，如GAN中的生成器，没有似然函数，对于这一类模型的学习，就不能如VAE那样通过最大化似然函数得到。那么可以基于这样一个假设:真实的数据分布跟所定义的生成模型的分布相等p⋆(x)=qθ(x)p^{\star}(\mathbf x)=q_\theta(\mathbf x)p⋆(x)=...

2019-08-08 18:10:31 643 1

原创 PRML学习总结（11）——Sampling Methods

PRML学习总结（11）——Sampling Methods11.1 Basic Sampling Algorithms11.1.1 Standard distributions11.1.2 Rejection sampling11.1.3 Adaptive rejection sampling11.1.4 Importance sampling11.1.5 Sampling-importance...

2019-08-07 11:52:32 898

原创 PRML学习总结（10）——Approximate Inference

PRML学习总结（10）——Approximate Inference10.1 Variational Inference10.1.1 Factorized distributions10.1.2 Properties of factorized approximations10.1.3 Example: The univariate Gaussian10.1.4 Model comparison...

2019-08-04 12:12:42 683

原创 PRML学习总结（9）——Mixture Models and EM

PRML学习总结（9）——Mixture Models and EM9.1 K-means Clustering9.2 Mixtures of Gaussians9.2.1 Maximum likelihood9.2.2 EM for Gaussian mixtures9.3 An Alternative View of EM9.3.1 Gaussian mixtures revisited9.3...

2019-08-03 17:47:57 595

原创 ADGM

Auxiliary Deep Generative Models引入额外的变量能够提高变分分布的灵活性。在VAE中，变分分布q(z∣x)q(z|x)q(z∣x)往往选择对角高斯分布，这就限制了inference模型的表达能力。在本文中，引入额外变量aaa，且满足p(x,z,a)=p(a∣x,z)p(x,z)p(x, z, a)=p(a | x, z) p(x, z)p(x,z,a)=p(a∣x,...

2019-07-31 09:02:25 497

原创 FactorVAE

Disentangling by Factorising本文旨在解决β\betaβ-VAE在重建上存在模糊的问题。首先分析了β\betaβ-VAE的问题：β\betaβ-VAE的目标函数为1N∑i=1N[Eq(z∣x(i))[log⁡p(x(i)∣z)]−βKL(q(z∣x(i))∥p(z))]\frac{1}{N} \sum_{i=1}^{N}\left[\mathbb{E}_{q\lef...

2019-07-24 14:11:26 829

原创 AVB

Adversarial Variational Bayes:Unifying Variational Autoencoders and Generative Adversarial NetworksAVB提出了一个更加灵活的inference模型，具体如下图所示。首先回归下VAE，其目标函数为ELBOlog⁡pθ(x)≥−KL(qϕ(z∣x),p(z))+Eqϕ(z∣x)log⁡pθ(x∣z...

2019-07-17 17:36:40 1005

原创 AAE

Adversarial Autoencoders本文将AE转化为一个生产模型，其目标函数有两部分，一个是常见的重建部分，另一个部分是将隐变量的aggregated posterior distribution向任意预设的先验靠近的对抗部分。具体模型如下所示。Adversarial Autoencoders是一个结合对抗训练和自动编码机的模型，其上半部分为一个标准的自动编码机，下半部分为GAN的判...

2019-07-17 11:38:17 1028

原创 Ladder VAE

在IWAE中仅仅考虑了两层的隐藏层，但是随着层数多了，高层很多都训练不好，因此提出了LVAE。首先比较下模型与IWAE的区别。各层建模如下pθ(z)=pθ(zL)∏i=1L−1pθ(zi∣zi+1)pθ(zi∣zi+1)=N(z∣μp,i(zi+1),σp,i2(zi+1)),pθ(zL)=N(zL∣0,I)pθ(x∣z1)=N(x∣μp,0(z1),σp,02(z1)) or&nb...

2019-07-16 21:10:14 1123

原创 IWAE

IMPORTANCE WEIGHTED AUTOENCODERS这篇文章主要是提出一种更紧的ELBOELBOELBOLk(x)=Eh1,…,hk∼q(h∣x)[log⁡1k∑i=1kp(x,hi)q(hi∣x)]\mathcal{L}_{k}(\mathbf{x})=\mathbb{E}_{\mathbf{h}_{1}, \ldots, \mathbf{h}_{k} \sim q(\mathb...

2019-07-16 19:44:20 1359

原创 beta-VAE

beta-VAE: Learning Basic Visual Concepts with a Constrained Variational Frameworkβ−VAE\beta-VAEβ−VAE的目标是学习独立的特征，让某种特征对应某个生成因素，而独立于其他因素。For example,a model trained on photos of human faces might captu...

2019-07-16 17:50:27 5872 3

原创 Auto-Encoding Variational Bayes

VAE概率图模型如下实线为生成过程：pθ(z)pθ(x∣z)p_{\boldsymbol{\theta}}(\mathbf{z}) p_{\boldsymbol{\theta}}(\mathbf{x} | \mathbf{z})pθ(z)pθ(x∣z)，虚线为推断过程：qϕ(z∣x)q_{\phi}(\mathbf{z} | \mathbf{x})qϕ(z∣x)近似真实后验分布pθ(z∣...

2019-07-15 14:56:46 299

原创 PRML学习总结（8）——Graphical Models

PRML学习总结（8）——GraphicalModels8.1 Bayesian Networks8.1.1 Example: Polynomial regression8.1.2 Generative modelsModels)8.1 Bayesian Networks为了理解有向图对于描述概率分布的作⽤，⾸先考虑三个变量a; b; c上的⼀个任意的联合分布p(a,b,c)p(a, b,...

2019-07-02 17:14:31 675

原创 PRML学习总结（7）——Sparse Kernel Machines

PRML学习总结（7）——Sparse Kernel Machines7.1 Maximum Margin Classifiers在前⼀章中，我们研究了许多基于⾮线性核的学习算法。这种算法的⼀个最⼤的局限性是核函数k(xn,xm)k\left(\mathbf{x}_{n}, \mathbf{x}_{m}\right)k(xn,xm)必须对所有可能的训练点对xn\mathbf{x}_{n}xn...

2019-06-26 18:27:03 688

原创 PRML学习总结（6）——Kernel Methods

PRML学习总结（6）——Kernel Methods6.1 Dual Representations6.2 Constructing Kernels6.3 Radial Basis Function Networks6.3.1 Nadaraya-Watson model6.4 Gaussian Processes6.4.1 Linear regression revisited6.4.2 Gau...

2019-06-22 10:00:21 783

原创 PRML学习总结（5）——Neural Networks

PRML学习总结（5）——Neural Networks5.1 Feed-forward Network Functions5.1.1 Weight-space symmetries5.2 Network Training5.2.1 Parameter optimization5.2.2 Local quadratic approximation5.2.3 Use of gradient info...

2019-06-16 19:39:13 714

原创 PRML学习总结（4）——Linear Models for Classification

PRML学习总结（4）——Linear Models for Classification4.1 Discriminant Functions4.1.1 Two classes4.1.2 Multiple classes1) one-versus-the-rest classifier2) one-versus-one classifier4.1.3 Least squares for class...

2019-06-15 10:19:42 445

原创 PRML学习总结（3）——Linear Models for Regression

PRML学习总结（3）——Linear Models for Regression3.1 Linear Basis Function Models1.2 Probability TheoryThe Rules of probabilityBayes' TheoremCurve fitting re-visited1.3 Model Selection1.4 The Curse of Dimensi...

2019-06-08 23:02:08 637

原创 PRML学习总结（2）——Probability Distributions

PRML学习总结（2）——Probability Distributions2.1 Binary Variables2.1.1 The beta distribution2.2 Multinomial Variables2.2.1 The Dirichlet distribution2.3 The Gaussian Distribution2.3.1 Conditional Gaussian di...

2019-06-06 13:15:11 452

原创 PRML学习总结（1）——Introduction

PRML学习笔记（1）——Introduction1.1 Example: Polynomial Curve Fitting1.2 Probability TheoryThe Rules of probabilityBayes' TheoremCurve fitting re-visited1.3 Model Selection1.4 The Curse of Dimensionality1.5 ...

2019-06-04 16:02:13 780

原创 Variational Deep Embedding: An Unsupervised and Generative Approach to Clustering [VaDE-pytorch]

Variational Deep Embedding: An Unsupervised and Generative Approach to Clusteringhttps://arxiv.org/pdf/1611.05148.pdf本文提出了一中无监督的生成模型，可以用作聚类，具体参见论文。在mnist数据集上复现代码见https://github.com/GuHongyang/VaDE-...

2019-04-23 16:46:41 1753 2

原创 Person Re-identification Model（行人再识别模型）—— PCB

Beyond Part Models: Person Retrieval with Refined Part Pooling (and A Strong Convolutional Baseline)https://arxiv.org/pdf/1711.09349.pdf复现结果：mAPR-1R-5R-10Paper77.392.49797.9Rep...

2018-12-19 11:43:31 3541 6

原创平面中任意方位矩形的重叠面积——python

求解平面中任意两个矩形的重叠面积——pythonimport numpy as npimport matplotlib.pyplot as pltfrom copy import deepcopyclass Rec(): def __init__(self,center,l,w,theta): # 角度为长l与水平边的夹角，逆时针方向，弧度角 se...

2018-12-18 16:09:05 3496 3

Ghy817920的博客