qq_40128284的博客

简介：无论是最小二乘法，还是神经网络反向传播算法，到处可以见到矩阵求导的身影，所以矩阵求导在机器学习中还是比较重要的。下面将从输入和输出的形式来分开介绍矩阵求导：首先，我们要明确矩阵求导的本质，即，矩阵A对矩阵B求导的本质是矩阵A中的每一个元素对矩阵B中的每一个元素进行求导。求导结果中含有元素的大小，为矩阵A的元素个数乘以矩阵B中元素的个数。求导秘术：拉伸：标量不变，向量拉伸。 前面横向拉伸，后面纵向拉伸。 输入为标量，输出为标量 这种情况，没有啥好介绍的，使用常规求导

谈起重参数化技巧，不得不提变分自编码器(VAE)；在VAE中，我们知道需要对编码器的输出、进行采样，从而可以将采样输入到编码器网络，能够得到输入样本的重构，以这种方式对模型进行训练。而VAE并没有这么做，而是采取了另一种做法：从高斯分布中采样，然后和训练样本训练得到的和，做运算的结果输入到解码器网络（点乘符号表示每个元素位置上的相乘），便能得到我们样本x的重构，这让我很困惑很久。下面开始介绍重参数化技巧，以两种情况： 概率分布： 直接从边缘概率分布中采样，即给定一个随机变量y，并且，这里我们用表示

JOIN操作，一张图秒懂。

前言：这篇论文的全称为：《Conditional Image Synthesis with Auxiliary Classifier GANs》，基于辅助分类器GANs的条件图像合成，在很多时候，它和SGAN一样经常被人们称为半监督学习，因为会用到图片的类别标签；ACGAN同时结合了CGAN和SGAN的做法来提高图片的生成质量，即CGAN通过结合标签信息来提高生成数据的质量，SGAN通过重建标签信息来提高生成数据的质量。在我看来，（1）ACGAN的提出在很大程度上解决了GAN模型崩溃的问题，所谓GAN

前言：这篇博客为阅读论文后的总结与感受，方便日后翻阅、查缺补漏，侵删！论文：Conditional Generative Adversarial Nets参考：博客一、博客二解决的问题：介绍这个问题前，我们首先回顾GAN的优点与缺点：GAN 的优点：● GAN是一种生成式模型，相比较其他生成模型（玻尔兹曼机和GSNs）只用到了反向传播，而不需要复杂的马尔科夫链。● 相比其他所有模型，GAN可以产生更加清晰，真实的样本。● GAN采用的是一种无监督的学习方式训...

前言：这篇博客为阅读论文后的总结与感受，方便日后翻阅、查缺补漏，侵删！论文：InfoGAN: Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets解决的问题：InfoGAN，它是对生成性对抗网络（GAN）的一个信息论扩展，因此，它是对原有模型的改进。InfoGAN能够以完全无监督的方式学习分离的表示，我们知道在GAN提到，生成器（generato...

前言这篇博客为阅读论文后的总结与感受，方便日后翻阅、查缺补漏，侵删！论文：零样本学习研究进展 零样本图像识别 零样本图像分类综述：十年进展概念：零样本学习 (Zero-shot learning).，零样本学习是迁移学习的一种特殊场景；在零样本学习过程中，训练类集和测试类集之间没有交集，需要通过训练类与测试类之间的知识迁移来完成学习，使在训练类上训练得 到的模型能够成功识别测试类输入样例的类标签。更一般来说，零样本学习如果模型在训练过程中，只使用训练类的样本进行训练,，且在测..

目录：简介梯度下降算法。 介绍梯度下降算法的不同变体。 总结在优化过程面临的一些挑战。 介绍最常见的优化算法。 介绍并行和分布式环境中梯度下降算法。 关于随机梯度优化算法的一些额外策略。简介梯度下降算法：梯度下降法是最常用的优化算法之一，也是迄今为止优化神经网络最常用的方法之一。同时，每个最先进的深度学习库都包含各种优化梯度下降算法的实现。然而，这些算法通常被称作黑盒优化器，因为很难找到对其优缺点的实际解释。本文旨在为读者提供有关优化梯度下降的不同算法的区别与联系，使得它更好的为我们所用

关于梯度下降的公式可能大家耳熟能详，沿着梯度的反方向一步一步的移动，总能到达我们想要的最优点；可是为什么可以这样做呢？开始我的答案无非就是“梯度的反方向就是损失值下降最快的方向”，最近看了李宏毅老师的梯度下降算法发现别有洞天，接下来我将以通俗的语言来详细解释梯度下降算法公式的数学推导过程。推导梯度下降之前开始引入一个Feature scaling(特征缩放):假设我们要优化的目标函数为：，当的变化以1,2，.....这样比较小幅度的变化，而以100,200，.....比较大幅度的变化，因此与对.

在看论文的过程中发现了有很多模型好坏的评价指标，有比较常见的指标，也有一些从未了解到的评价指标，是时候来整理一波了，以便后续学习查缺补漏。常见概念：真正(True Positive , TP)：被模型预测为正的正样本。 假正(False Positive , FP)：被模型预测为正的负样本。 假负(False Negative , FN)：被模型预测为负的正样本。 真负(True Negative , TN)：被模型预测为负的负样本。 真正率(True Positive Rate,T.

这段时间又重新来看了看这个算法，发现学过的东西一段时间过去几乎忘完了，还是觉定每次学习过一个比较重要的算法就写一个总结，第一次的总结尽量简单，后面再充实，以便查缺补漏。概念：BP算法是由学习过程由信号的正向传播与误差的反向传播两个过程组成。由于多层前馈网络的训练经常采用误差反向传播算法，人们也常把将多层前馈网络直接称为BP网络。...

首先我们要明确的是马尔可夫链蒙特卡洛采样以下简称MCMC，它首先是个采样方法。1.采样的目的采样作为任务，用于生成新的样本 求和/求积分比如我们知道样本z的后验分布p(z|x),我们经常会有一个需求，得到目标函数f(x)在概率分布上的期望，通常这个期望是很难计算的，我们可以根据p(z|x)采用N个样本，分别为,当N足够大我们便可以得到该期望值。如下式：也就是说，从概率分布中取点，从而近似计算这个积分。采样结束后，我们需要评价采样出来的样本点是不是好的样本集：样本趋向于高概率的区.

1. 特征值和特征向量我们首先回顾下特征值和特征向量的定义如下：Ax=λxAx=\lambda xAx=λx其中A是一个n×nn\times nn×n的实对称矩阵，xxx是一个n维向量，则我们说λ\lambdaλ是矩阵A的一个特征值，而xxx是矩阵A的特征值λ\lambdaλ所对应的特征向量。求解特征值时，上式可以写为：(A−λE)x=0(A-\lambda E)x=0(A−λE)x=0...