weixin_43120238的博客

原创 Mean Squared Error 和 Maximum-A-Posterior (Maximum Likelihood Estimation) 的关系

Mean Squared Error 和 Maximum-A-Posterior (Maximum Likelihood Estimation) 的关系

原创 高光谱计算成像论文阅读-High-Quality Hyperspectral Reconstruction Using a Spectral Prior

原文：High-Quality Hyperspectral Reconstruction Using a Spectral Prior作者：Inchang Choi, Daniel S. Jeon, and Giljoo Nam单位：Universidad de Zaragoza– Abstract：本文提出了一种高光谱重构成像的方法，以缓解基于压缩感知成像技术的光谱分辨率和空间分辨率的相互制约问题。所提出的方法包括两步：1）构建了一个卷积自动编码器（convolutional autoencod

原创 Note: Mathematical Cookbook for Snapshot Compressive Imaging

原创 Understanding of Hilbert-Schmidt Independence Criterion (HSIC)

Hilbert-Schmidt Independence Criterion (HSIC)

原创 How to Develop a Naive Bayes Classifier?

From Probability for Machine LearningThe problem of classification predictive modeling can be framed as calculating the conditional probability of a class label given a data sample. The calculation of Bayes Theorem can be simplified by making some assumpt

原创 如何避免overfitting？

原文链接How to avoid overfitting in deep learning NN

原创 Graph Matching

Graphs are commonly used to encode structural information in many fields.Graph matching is the problem of finding a similiairy between garphs.The case of exact graph matching is known as the graph isomorphism problem. The problem of exact matching of a

原创 Pytorch中的Loss Functions简介

原文链接Mean Abosolute Errortorch.nn.L1LossIt Measures the mean absolute error.loss(x, y)=∣x − y∣.loss(x, \ y) = |x \ - \ y|. loss(x, y)=∣x − y∣.What does it mean?It measures the numerical distance between the estimated

原创 贝叶斯公式的理解 Introduction to Bayes Theorem

1. 问题引入贝叶斯公式是一个用于计算条件概率的方法。尽管贝叶斯定律十分简单，但真正深层次理解并且可以在任何场景下使用还是需要进一步来学习。In this tutorial, 我们将在多种实际场景下使用贝叶斯公式来进行理解。2. 什么是贝叶斯公式？条件概率是给定一个事件发生的情况下，另外一个事件发生的概率。条件概率可以通过联合概率来计算：P(A∣B)=P(A;B)P(B).P(A|B) = \frac{P(A; B)}{P(B)}.P(A∣B)=P(B)P(A;B)​.此外，还可以通过另外一个

原创 Probabilistic Model Selection with AIC, BIC, and MDL

1. IntroductionModel selectionis the problem of choosing one from among a set of candidate models. An approach to model selection involves using probabilistic statistical measures that attempt to quantify both the model performance on the training datas.

原创 Expectation Maximization (EM)

- 问题导入最大似然估计法是核估计 (density estimation) 的常用方法之一。在变量与潜在变量存在关系的时候，最大似然估计法便无法很好的处理。而期望最大算法（EM）可以处理存在潜在变量的情况。EM通常包括了两步：（1）估计潜在变量的值；（2）优化模型，反复迭代至收敛。1. 最大似然法在处理潜在变量的问题最大似然法的前提是，数据完整且可观测。但在实际过程中，这通常是不可能的：一部分变量可观察，而其他的不行，即使他们会影响其他的随机变量，但他们任然是不可观测的。2. 期望最大算法（E

原创 最大似然估计法求解逻辑回归问题

1. 逻辑回归逻辑回归是一个二分类问题。尽管与线性回归模型所解决的问题不同，但他们有许多相似之处。线性回归拟合线（超平面）来预测真实值，逻辑回归拟合线（超平面）来将样本分开。y^=11+exp(−(X×β)).\hat{y} = \frac{1}{1 + exp(-(X \times \beta))}.y^​=1+exp(−(X×β))1​.在开始介绍基于最大似然估计法之前，我们先来理解一下逻辑回归真正在计算什么？定义：给定逻辑回归模型预测的success的概率p下，我们称odds of succe

原创 最大似然估计法解决线性回归问题

问题引入线型回归方法是一个关于预测连续数值的问题。线性回归模型可以通过最小二乘法或者最大似然估计法来求解参数。其中，最大似然估计法是一个自动地寻找可以最好拟合观测值的概率分布和参数的方法。监督式学习可以被理解为求解条件概率的问题 p(y|x)。此时，最大似然估计法是通过寻找最佳的参数来最大化条件概率。同时，log- likelihood可以推导到最小二乘法。Linear Regression线性回归模型是将一个 or 多个数值的输入 map 到一个数值的输出：y^=model(X). \.

原创 怎么理解 Probability Distribution 和 Probability Density?

Probability 理解这两个概念前，我们先来看一下什么是概率： "Probability is a measure that quantifies es the likelihood that an event will occur." 从两种学派来看待频率： （1）频率学派：概率 = 发生的次数 / 总的次数；是一种客观的描述方法。 （2）贝叶斯学派：概率 = 我们相信有多大的可能性会发生；是一种主观性的描述方法。Probability Di...

原创 Birthday problem (birthday paradox) in probability

Problem defHow many people are required so that any two people in the group have the same birthday with ate least a 50-50 chance?There are no tricks to this problem; it involves simply calculating the marginal probability. It is assumed that the probab.

原创 Understanding 《Weight Normalization》

IntroductionIf the condition number of the Hessian matrix of the objective at the optimum is low, the problem is said to exhibitpathological curvature,and first-order gradient descent will have trouble making progress.The amount of curvature, and thu...

原创 A Gentle Introduction to Self-training with Python code 自训练及其python实现

PrefaceThis tutorial including the gentle introduction to self-training and a classification task implemented with python.Referee:A Gentle Introduction to Self-Training and Semi-Supervised Learning;Theoretical analysis of self-training with deep networ

原创 How to Remove Outliers for Machine Learning

After completing this tutorial, you will know:That an outlier is an unlikely observation in a dataset and may have one of many causes.How to use simple univariate statistics like standard deviation and interquartile range to identify and remove outliers

原创 One-Class Classification (OCC) 算法

原文：One-Class Classification Alogrithms for Imbalanced DatasetsIn this tutorial, you will discover how to use one-class classification algorithms for datasets with severely skewed class distribution.After completing this tutorial, you will know:One-clas

原创 Representation Learning with Contrastive Predictive Coding (CPC) 论文理解

"The key of CPC is learn such representations by predicting the future in latent space by using autoregressive models."CPC的重点在于通过在潜在空间预测”未来“来进行表征学习。IntoructionWe wise the features that are less specilized towards solving a single supervised task.我们希望

原创 高斯混合模型在图像处理中的扩展 Gaussian Mixture Model in Image Processing Explained

原文来自: Gaussian Mixture Model in Image Processing ExplainedWhat is the Gaussian Mixture Model in Image Processing?在图像处理中，高斯混合模型的作用？在无监督式学习中，聚类是一项重要的任务:有许多算法可以实现聚类，如：（1）K-means Clusterin（2）Gaussian Mixture Model（3）Hierarchical Clustering…This is w

原创 《对于机器学习，识别环境信息依旧困难》 (Recognizing context is still hard in Machine Learning)

Machine Leanring 在人脸、目标以及其他模式识别任务中表现很好，但是无法识别环境信息（context）。Definne Context（定义环境信息）举个视频质量检测的例子：目标的算法在目标缺失、文件损坏或者metadata不匹配等任务较好的完成，但是无法告诉你image是反方向的，如下图：人可以直接的判断是图片是否是反的，但是计算机无法完成。这是因为图片的角度是环境信息（contextual inforamtion）。为什么算法无法分辨是反方向（why cannot a compu

原创 目标检测中对于box assignment的策略 （label assignment in object detection)

Label Assignment 是目标检测中重要的一步，其对propose的anchor box/anchor point打上label（是postive还是negative/ignore）。其中包含了两个挑战：（1）Negative 样本太多 --> 正负样本不均衡；（2）没有一个统一的评定标准 --> 是一个trial and error的过程。现在主流的framework的方式：（1）Faster RCNN / SSD / RetinaNet一个grid cell中有多个anc

原创 Nature Gradient 自然梯度

在读论文（FAST AND ACCURATE DEEP NETWORK LEARNING BYEXPONENTIAL LINEAR UNITS (ELUS)）时说到，ReLU激活函数的一些缺点，包括使得数据分布发生偏移。而Nature Gradient则为一种解决办法，以下为Nature Gradient的介绍：示例：假设现在有一个5个参数的向量(data)，我们要衡量梯度更新前后的距离：total_distance = 0for i in range(5): for j in range(

原创 Batch Normalization与Internal Covariate Shift （ICS）

本文主要探讨Batch Normalization与Internal Covariate Shift （ICS），具体参考文献为：[1] Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift[2] How Does Batch Normalization Help Optimization?Machine Learning中一个很重要的假设：训练数据集和测试数据集满足i.

原创 Batch Norm / Layer Norm / Group Norm 的理解、对比

1. Batch Norm深度学习的话尤其是在CV上都需要对数据做归一化，因为深度神经网络主要就是为了学习训练数据的分布，并在测试集上达到很好的泛化效果，但是，如果我们每一个batch输入的数据都具有不同的分布，显然会给网络的训练带来困难。另一方面，数据经过一层层网络计算后，其数据分布也在发生着变化，此现象称为Internal Covariate Shift。接下来，我们来看batch norm的伪代码（pseudocode):2. Layer NormBN并不适用于RNN...

原创 Triplet Loss / Contrastive Loss / Focal Loss 的林林总总

本文主要介绍/对比三种常用的Loss function：（1）Triplet Loss（2）Contrastive Loss（3）Focal Loss前两种主要用于Metric Learning（度量学习）任务中，而Focal Loss更多的是处理正负样本极其不均衡情况下的一种Cross Entropy Loss的升级版。（1）Triplet Loss最初是在FaceNet一文中提出的，研究重点在于如何学习到更好的face embedding。在人脸识别系统中，如果使用传统的image cl

原创 Batch Normalization（BN）简单理解

Batch Normalization 主要的目的是：使得神经网络训练过程中的每一层输出同输入保持相同的分布。一. Internal Covariate Shift 问题 指在训练过程中，中间隐藏层的输入分布不停地变化，使得模型很难学习到稳定的规律。 Batch Norm的基本思想就是：能不能让每个隐藏节点的激活输入分布固定下来呢？ Batch Norm是收到对图像进行白话（whiten）--- 对输入的图像变化到以0为均值，单位方差的正态分布---那么神经网络收敛速...

原创 Self-supervised Learning 中的 Contrastive Learning

目前大多数深度学习的方法都依赖于人类所标注的信息，但是这会造成一些问题：数据内部的结构信息比标注提供的信息要丰富，而监督方法忽视其重要性；通过标签信息所训练得到的模型通常用于解决特定的任务，而不能作为知识一样可以被重新利用。因此，自监督学习通过数据本身的信息来完成表征的学习。而且在Downstream（ Pacal VOC检测）任务上，已经能比肩或超过监督方法。通常，自监督学习通过构建一些不专注于像素细节的表征（representation learning）而对高层特征进行编码而区分不同对象。

原创 detach()详解 -- Python/Pytorch 学习

def detach(self): """Returns a new Variable, detached from the current graph. Result will never require gradient. If the input is volatile, the output will be volatile too. .. note:: Returned Variable uses the same data tensor, as the

原创 Bilinear CNN Models for Fine-grained Visual Recognition 通过双线性CNN的细粒度模式识别

Abstract双线性模型包括了两个特征提取网络，图像的特征表达随后通过对这两个特征提取网络的输出做外积然后池化而得到。该方法能更好地提取对细粒度分类有用的local pairwise特征。Introduction第一段：细粒度识别任务的挑战。第二段：常用的方法包括检测目标的不同部位；缺点：标注比收集image更难/手工选取的part不是optimal的。第三段：另一种方法：使用robust image representation，如VLAD、Fisher vector等。尽管这些方法.

原创 Beyesian Neural Network贝叶斯神经网络

贝叶斯主要求解方法有两种：基于采样的马尔可夫链蒙特卡罗方法（MCMC）；基于近似的变分推断（VI）方法先介绍变分推断的特例：贝叶斯神经网络。左图是普通的全连接网络，右边是贝叶斯神经网络。...

原创 Non-parameteric Model 非参数化模型 VS Parameteric Model 参数化模型

“非参数”并不意味着没有参数，而是该参数是灵活的并且可以变化。参数化模型能够根据相关的度量，如均值、中位数、方差等来推断观测值。但通常非参数模型不能假设数据来自正态分布（尽管有些非参数模型分布是整体分布）。尽管参数化模型有着更准确的对数据的预测，但是非参数化模型不需要依赖均值、中位数等。...

原创 Dirichlet Distribution狄利克雷分布 / Latent Dirichlet Allocation （LDA）隐藏狄利克雷概念的理解

目录：Dirichlet Distribution 狄利克雷分布Bayesian Generative Models 贝叶斯生成模型Mixture Models and the EM algorithm 混合模型及EM算法Latent Semantic Indexing (LSA)Latent Dirichelt Allocation (LDA)Dirichlet Distribution 狄利克雷分布定义： 狄利克雷分布 Dir(a) 是由一个向量 theta（全为正实数） 所表示

原创 Depthwise卷积与Pointwise卷积

原文：https://blog.csdn.net/tintinetmilou/article/details/81607721Depthwise(DW)卷积与Pointwise(PW)卷积，合起来被称作Depthwise Separable Convolution，该结构和常规卷积操作类似，可用来提取特征，但相比于常规卷积操作，其参数量和运算成本较低。所以在一些轻量级网络中会碰到这种结构如MobileNet。常规卷积操作对于一张5×5像素、三通道彩色输入图片（shape为5×5×3）。经过3×3卷积核

原创 如何在linux命令行（终端）不依赖jupyter执行ipynb 文件

安装 runipypip install runipy终端执行ipynbrunipy <YourNotebookName>.ipynb

原创 RuntimeError: copy_if failed to synchronize: device-side assert triggered

在使用pytorch训练的时候提示RuntimeError: copy_if failed to synchronize: device-side assert triggered错误有两个方法可以尝试去解决一下：1.尝试减少学习率试试看能不能解决这个问题，如果不能，请看第二种方法2.看看config文件中设置的类别数目与数据中实际的类别数目是否一致，注意对于目标检测需要根据实际的类别数+1(背景)...

原创 Discriminative Learning (判别式学习）和Generative Learning（生成式学习）

Discriminative Learning给定一个观测值x，判别式模型（discriminative model）是目标Y的条件概率，即P(Y∣X=x)P(Y|X =x)P(Y∣X=x)。举个例子：（猫狗分类）Try to find a straight line (decision boundary) that can separates the cats and dogs.寻找一个分类边界来将cats和dogs的数据分开。Check which side of the new data..

原创 Domain Adaption 领域自适应

定义（from Wiki):Domain Adaption是transfer leanring（迁移学习）中很重要的一项内容。主要目的是将具有不同分布的（data distribution）的具有标签（label）的源域（source domain）和不带标签的目标域（target domain） 映射（map）到同一个特征空间（embedding mainfold）。数学化（Formalization)X，YX， YX，Y 分别为输入空间和输出空间；Machine Leanring 算法的..

原创 快照式高光谱相机 （Why Snapshot saves time - and money)

摘要 快照式高光谱视频相机比普通高光谱的优势在哪？ 这种新技术和原来的有什么不同？ 是怎么提高应用的？Introduction 快照式高光谱视频相机比普通高光谱的优势在哪？ 快照式高光谱相机最大的优势在于它对入射光的高效利用。之前的高光谱相机有一个共同的点：只使用了一小部分的入射光来成像。 快照式高光谱相机能一次完成datacube的成像。 快照式技术的优点： 速度的提升：...