liulilglitter-CSDN博客

原创 EM算法3-高斯混合模型的EM算法

在实现了EM算法的感性理解和理论推导之后，可以对经典算法混合高斯模型进行EM算法的求解。高斯混合模型具有如下的概率分布: 其中αk\alpha_kαk>0 并且∑k=1K\sum_{k=1}^K∑k=1Kαk\alpha_kαk=1, 同时有：高斯混合模型可以理解为：一共有K个高斯模型，第k个高斯模型被选中的概率为αk\alpha_kαk。每一次获得观测数据时，首先根据αk\alpha_kαk选择第出一个模型，然后根据第k个模型的高斯分布Φ\PhiΦ(Y|θk\theta_kθk

2021-07-21 16:11:52 475

原创 EM算法2-理论证明

在能感性理解EM算法，并且和其理论结合到一起后，我们现在开始学习一下EM算法的理论推导和证明部分，证明的流程主要参考：https://blog.csdn.net/v_july_v/article/details/81708386，非常详细有逻辑首先是我们的目标，在我们求解的时候，会有N个观测变量Y，希望求解的参数为θ\thetaθ，这个时候，最大似然估计告诉我们，求解θ\thetaθ可以最大化下式：但是由于我们现在中间可能有未知环节，无法给出P(Y|θ\thetaθ)的表达式，没办法直接求解，所以引

2021-07-20 14:34:45 189

原创 EM算法1-感性地理解EM算法(2)

在感性地理解EM算法1中介绍了一个很普遍的例子讲解EM算法，同时将理论公式具体化，那么下来再讲解一个相对较难的例子，出自李航老师的统计学方法中EM算法的第一个例子，和上一个讲解的方式比较一致：题目为：首先给出一个假设，为了和书上的结果保持一致，我们也假设：π0\pi_0π0=p0p_0p0=q0q_0q0=0.5首先明确此时的隐变量z，z=1表示硬币A是正面，z=0表示硬币A是反面，先明确我们希望最大化的目标：E步，明确我们想要求解的下届函数Q(θ0\theta_0θ0),也就是要求P(

2021-07-19 17:30:59 135

原创 EM算法1-感性理解EM算法(1)

讨论到EM算法，纯看公式推导就觉得非常的复杂，其实如果单纯从感性认知的角度，能更好的的了解EM算法。在哔哩哔哩等相关的分享中看到相关的课程学习内容，主要介绍如何感性的认识EM算法，但是他们分享的时候，大多数都是理论和感性认知分开讲的，这篇文章就希望能够在感谢认知的基础上，对应上其理论题推导。下面就根据视频教学里的例子，来介绍一下EM算法的感谢认知。首先介绍了知乎上比较简单明了的一个EM算法入门：如何感性地理解EM算法？具体的例子是：假设现在有两枚硬币1和2，,随机抛掷后正面朝上概率分别为P1，P2。

2021-07-19 15:24:08 326

原创 pytorch第七课-制作训练数据集

在学习了一系列使用pytorch进行训练的方法之后，我们有一个很重要的点需要注意，就是如何制作自己的数据集，在前面的例子中，我们主要集中于pytorch在算法上的使用，数据集基本都是pytorch提供的，或者是用 data.ImageFolder直接生成的数据+标签（这个方法对于一般的图像问题很好用），但是当我们需要使用类似3D数据，或者不是图片的数据进行训练时，如何制作自己的数据集，就很关键了，下面我会以CT图片(格式 .nii.gz)举例，来进行数据集制作的介绍。...

2021-07-15 22:22:58 3556 2

原创 pytorch学习第六课-实践课 Style Transfer

基本到了最后一课，主要内容是复现论文Image Style Transfer Using Convolutional Neural Networks的内容，这篇论文主要是希望将图片的 content 和另外一幅图片的style 合并在一起，生成如下的图片：有兴趣的小伙伴可以去精读一下这篇论文，其实思路很简单，就是使用一个已经训练好的卷积神经网络（可以直接提取特征了），将含有内容的图片 content image，输入到网络中，得到某些层的输出，作为 content feature，将另外一个含有风

2021-07-07 17:30:37 117

原创 pytorch学习第五课-卷积神经网络的Transfer Learning

在做了简单的卷积神经网络LeNet-5进行MINIST识别之后，我们可以进行一些更加复杂的识别任务，比如CIFAR10，CIFAR10是一个有10个分类的分类任务，相对MNIST来说难很多，如果直接使用LeNet-5，或者是加一些数据增强，validation的准确率也只能达到65%左右，所以，想要获得更好的准确率，我们这里使用一下最简单的Transfer Learning，Transfer Learing...

2021-07-03 21:56:29 272 2

原创 pytorch学习第四课-卷积网络-MNIST识别

上次用全连接网络，实现了MNIST手写字体的识别，validation的准确度为96%左右，现在我们使用卷积神经网络来看看最后的识别准确度，这里我们用LeNet-5来进行MNIST手写字的识别：首先还是加载数据集：import torchimport torch.nn as nnfrom torchvision import datasets，transformsimport numpy as npimport matplotlib.pyplot as plttransform=trans

2021-07-02 14:32:53 150 1

原创 pytorch学习第三课-全连接网络2-MNIST分类

完成了简单的全连接网络之后，我们是用pytorch进行MNIST手写数字的分类问题，这次的网络相对复杂一下，输入输出和hidden layer都更多，表达能力更强首先是下载MINIST的数据集：import torchimport torch.nn as nnfrom torchvision import datasets, transformsimport torch.nn.functional as Fimport matplotlib.pyplot as pltimport numpy

2021-07-01 10:03:45 403

原创 pytorch学习第二课- 全连接网络分类

下面进行全连接网络的学习，对于全连接网络的简单理解，可以认为是多个线性分类的组合，当直线不能完成复杂分类任务的时候，我们可以将非线性边缘分解为多个线性边缘的组合，推荐一个网站，可以直观的感受到多个线性分类器组合后的分类效果：https://playground.tensorflow.org/hidden layer中仅有一个 node的时候，相当于仅有一个线性分类器，所以最后的分类效果边界是直线：当有两个node的时候，相当于两个线性分类器，进行组合，最后可以看到基本是两个线性边界有3个node

2021-06-30 14:31:46 927

原创 Deep Label Distribution Learning With Label Ambiguity

2017 年Deep Label Distribution Learning With Label Ambiguity精读2021-06-21最近想要做关于semantic segmentation 的 noisy label的学习，先了解了一些比较经典的论文：摘要：在卷积神经网络中，收集足够的训练数据是十分困难的，同时对于年龄检测，头部姿态检测和多标签分类等任务，有一些对于人都难以完全区分只能给出大概范围的任务，使得传统的分类问题非常难以解决。为了解决这个问题，这篇论文，将label 变成了 l

2021-06-22 14:05:40 723

原创 Pytorc学习第一课-线性回归和逻辑回归

主要学习Pytorch的基本使用步骤和基本逻辑：首先生成数据集：import torchimport torch.nn as nnimport numpy as npimport matplotlib.pyplot as pltx=torch.randn(100,1)*10 #生成100个1维的随机数y=x+3* torch.randn(100,1) #生成y，添加一些扰动plt.plot(x.numpy(),y.numpy(),'o') #画图看一下然后建立学习的class

2021-06-21 14:41:37 116

原创面试准备-LR，SVM and 反向BP （2）

SVM support vector machine

2021-06-15 23:23:47 217 2

原创 2018 Anatomical Priors in Convolutional Networks

2018 Anatomical Priors in Convolutional Networks for Unsupervised Biomedical Segmentation-每日论文阅读2021.05.24 工作快三年，越来越脱离学习，开始每日论文阅读，希望两三年之后在无监督图像分割领域，特别是医疗图像领域有一定的了解和建树摘要We consider the problem of segmenting a biomedical image into anatomical regions of i

2021-05-28 16:20:51 136

原创 VAE variational autoencoder的理解

2021.05.25 为了无监督学习，学习了一下 VAE模型,主要介绍了 VAE模型cost function的推导和在具体实施的时候如何计算cost function贝叶斯层面**首先明确VAE的目的：**我们希望得到从输入图片x到隐变量z的概率分布p(z/x)，encoder做的事情就是用 q(z/x)去近似p(z/x)那为什么我们要得到p(z/x)呢，因为z中包含了很多我们想要得到的信息，和GMM以及HMM相似，如GMM中q(z/x)表示x属于某个类的概率然后是具体的公式推导那么为了用q(

2021-05-25 17:28:43 192

liulilglitter的博客