阅读笔记
文章平均质量分 50
ahigan
这个作者很懒,什么都没留下…
展开
-
【阅读笔记】EM算法
EM是一种迭代算法,用于含有隐变量的概率模型参数的极大似然估计/极大后验概率估计基本步骤初始化参数θ\thetaθE步:计算期望,也就是Q函数(完全数据的对数似然函数关于在给定观测数据和当前参数下对隐变量的条件概率分布的期望,其中完全数据=观测数据+隐变量)M步:求使Q函数极大化的参数θ\thetaθ重复步骤2和步骤3,直至收敛EM算法的导出(=Q函数的导出)面对含隐变量的...原创 2019-05-08 12:10:32 · 306 阅读 · 0 评论 -
【学习笔记】VALSE Webinar:GAN 主题研讨
StackGANStackGAN:Two-stage Generative Adversarial Networks任务:根据句子生成图像创新:首次能够生成256*256的大图像巧:1)word embedding ->均值和方差,而不是一个feature embedding2)把小的图像转为一个conditional variableStackGAN-v2:改进:en...原创 2019-03-06 16:28:54 · 339 阅读 · 0 评论 -
GAN学习笔记-李宏毅:GAN Lecture 2 (2018): Conditional Generation
李宏毅老师讲解的GAN Lecture 2 (2018): Conditional GenerationConditional Generation: 可以操控要输出的内容,如输入文字产生图片(Text to image)Text to image1)traditional supervised approach:训练数据是text+image,model产生出的图片都比较模糊,因为是...原创 2019-03-06 16:31:30 · 436 阅读 · 0 评论 -
GAN学习笔记-李宏毅:GAN Lecture 7 (2018): Info GAN, VAE-GAN, BiGAN
李宏毅老师讲解的GAN Lecture 7 (2018): Info GAN, VAE-GAN, BiGAN问题:input feature 对output影响不明确这件事InfoGANc是有意义的维度,z为随机的;因为某些维度被划分到c中,所以generator强制要求这些维度有意义;注意这里的关系是“c->其中的维度有意义”而不是“其中的维度有意义->c”...原创 2019-03-06 16:30:30 · 1798 阅读 · 1 评论 -
GAN学习笔记-李宏毅:GAN Lecture1(2018):Introduction
李宏毅老师讲解的GAN Lecture1(2018):IntroductionGithub上一个总结GAN及其扩展的项目:[the-gan-zoo](https://github.com/hindupuravinash/the-gan-zoo)OutlineBasic idea of GANBasic idea of GANGenerator:a random vector t...原创 2019-03-06 16:29:12 · 854 阅读 · 0 评论 -
GAN学习笔记-李宏毅:GAN Lecture 10 (2018):Evaluation & concluding remarks
李宏毅老师讲解的:GAN Lecture 10 (2018):Evaluation & concluding remarks怎么评价GAN产生的object是好还是不好?传统的方法传统用likelihood衡量Generator的效果,但是由network构成的generator没有办法知道真实概率分布,只能通过采样kernel densityestimation:用gau...原创 2019-03-06 16:29:30 · 550 阅读 · 0 评论 -
GAN学习笔记-李宏毅:GAN Lecture 6 (2018): WGAN, EBGAN
李宏毅老师讲解的 GAN Lecture 6 (2018): WGAN, EBGAN最原始的GAN使用JS divergence,然而只要两个分布没有重合,它们的js divergence 都是log2LSGAN:把sigmoid换成linear,(discriminator不要训的太好也不要太差,就要求能区分又希望在generated data部分可微分)Wassertein...原创 2019-03-06 16:30:40 · 766 阅读 · 0 评论 -
GAN学习笔记-李宏毅:GAN Lecture 9 (2018): Sequence Generation
李宏毅老师讲解的 GAN Lecture 9 (2018): Sequence GenerationConditional Sequence Generation用maximize likelihood(也可以称为minimize cross entropy)训练seq2seq model 的问题是training criterion很难选到合适的by RL improvingp...原创 2019-03-06 16:30:03 · 660 阅读 · 0 评论 -
GAN学习笔记-李宏毅:GAN Lecture 5 (2018): General Framework
李宏毅老师讲解的 GAN Lecture 5 (2018): General Frameworkoriginal GAN中使用JS divergence 来衡量real data 和 generated data 之间的divergence,fGAN讲的就是如何用其他类型divergence来衡量两者间的差异,虽然在实做上没有不同的效果f-divergence属性:凸函数、f(1)=0...原创 2019-03-06 16:30:53 · 393 阅读 · 0 评论 -
GAN学习笔记-李宏毅:GAN Lecture 8 (2018):Photo Editing
李宏毅老师讲解的GAN Lecture 8 (2018): Photo Editing智能ps的做法原创 2019-03-06 16:30:16 · 355 阅读 · 0 评论 -
GAN学习笔记-李宏毅:GAN Lecture 4 (2018): Basic Theory
李宏毅老师讲解的GAN GAN Lecture 4 (2018): Basic TheoryGeneration - find the data distribution原创 2019-03-06 16:31:10 · 457 阅读 · 0 评论 -
[阅读笔记]《统计学习方法》李航著:Chp6 逻辑斯谛回归与最大熵模型
[阅读笔记]《统计学习方法》李航著:Chp6 逻辑斯谛回归与最大熵模型本章概要 6.1 逻辑斯谛回归模型逻辑斯谛分布:分布函数是以点(μ,12)(μ,12)(\mu,\frac{1}{2} )为中心对称的S形曲线几率(oods): 事件发生的概率与事件不发生的概率的比值对数几率多项逻辑斯谛回归6.2 最大熵模型最大熵原理:在所有可能的概率模型中,熵最大的模型是...原创 2018-04-24 15:15:00 · 155 阅读 · 0 评论 -
[阅读笔记]《统计学习方法》李航著:Chp5 决策树
[阅读笔记]《统计学习方法》李航著:Chp5 决策树本章概要 5.1 决策树模型与学习损失函数:正则化的极大似然函数,策略:最小化损失函数树的生成停止条件: 所有训练数据子集都被基本正确分类没有合适的特征可能产生过拟合现象因此需要剪枝决策树的生成考虑局部最优,剪枝则考虑全局最优5.2 特征选择Why:特征数量很多,通过选择留下对训练数据有足够分类能力的...原创 2018-04-23 18:55:09 · 211 阅读 · 0 评论 -
[阅读笔记]《统计学习方法》李航著:Chp4 朴素贝叶斯法
[阅读笔记]《统计学习方法》李航著:Chp4 朴素贝叶斯法本章概要 4.1 朴素贝叶斯法的学习与分类一重要假设前提:训练数据集是独立同分布产生的另一重要假设:条件独立性假设朴素贝叶斯的原理——后验概率最大化等价于期望风险最小化4.2 朴素贝叶斯法的参数估计极大似然估计:直接统计频数贝叶斯估计 Why:因为极大似然估计可能会出现所要估计的概率值为0...原创 2018-04-23 17:57:07 · 217 阅读 · 0 评论 -
[阅读笔记]《统计学习方法》李航著:Chp3 k近邻
[阅读笔记]《统计学习方法》李航著:Chp3 k近邻本章概要 5. k近邻法不具有显式的学习过程3.1 k近邻算法多数表决3.2 k近邻模型k近邻使用的模型实际上对应于对特征空的划分距离度量:欧式距离、LpLpL_p距离、Minkowski距离k值选择:k减小->模型复杂性增加->容易过拟合;k值一般取较小的数值,通常采用交叉验证法来选取最优k值...原创 2018-04-18 21:56:48 · 210 阅读 · 0 评论 -
[阅读笔记]《统计学习方法》李航著:Chp2 感知机
[阅读笔记] 《统计学习方法》李航著:Chp2 感知机 perceptron本章概要2.1 感知机模型属于判别模型2.2 感知机学习策略感知机学习的目标是求得一个能够将训练集完全正确分类的分离超平面为了达到上述目标,学习的策略是定义经验损失函数并将损失函数极小化感知机学习中采用的损失函数为:误分类点到超平面S的总距离2.3 感知机学习算法...原创 2018-04-17 21:08:40 · 255 阅读 · 0 评论 -
[阅读笔记]《统计学习方法》李航著:Chp1 统计学习方法概论
机器学习两本中文必备书籍之一,强推阅读。本文仅记录笔者个人的一些阅读笔记及理解。 阅读时,建议可以先浏览章节最后的本章概要,对本章节的核心内容及讲述的逻辑关系有个大致的了解,再进入详读。本章概要部分节选 统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行分析与预测的一门学科。统计学习包括监督学习、非监督学习、半监督学习和强化学习。 统计...原创 2018-04-17 10:05:19 · 232 阅读 · 0 评论 -
[论文阅读] Correlated Label Propagation with Application to Multi-label Learning
From: CVPR.2006.90核心创新:simultaneously co-propagates multiple labels,明确的探索了high-order correlation between labels,在这篇文章提出的框架下有一个优势——考虑了the label correlation of any orderAbstract标准的标记传播算法是将训练...原创 2019-03-06 16:27:58 · 465 阅读 · 0 评论 -
[论文阅读] Transductive Multilabel Learning via Label Set Propagation
[论文阅读] Transductive Multilabel Learning via Label Set Propagation 论文下载链接:Transductive Multilabel Learning via Label Set Propagation AbstractWe estimate the label sets of the unlabeled inst...原创 2019-03-06 16:32:43 · 420 阅读 · 0 评论 -
[阅读笔记] Teaching-to-Learn and Learning-to-Teach for Multi-Label Propagation
[阅读笔记] Teaching-to-Learn and Learning-to-Teach for Multi-Label Propagation Chen G, Tao D, Liu W, et al. Teaching-to-Learn and Learning-to-Teach for Multi-Label propagation[C]// Thirtieth AAAI Conf...原创 2019-03-06 16:32:30 · 565 阅读 · 0 评论 -
GAN学习笔记-李宏毅:GAN Lecture 3 (2018): Unsupervised Conditional Generation
李宏毅老师讲解的GAN Lecture 3 (2018): Unsupervised Conditional Generation类似于风格转化的task两类方法:1)直接转:只能进行小改,input和output间差距较小(如颜色或纹理转化)2)投射到公共空间:input和output间差距较大(真人转化为动画人物)Direct Transformation存在问题-Ge...原创 2019-03-06 16:31:20 · 527 阅读 · 0 评论 -
变分自编码器VAE学习笔记
变分自编码器VAE:原来是这么一回事 | 附开源代码完整版文章请看知乎原文,本文章只记录个人的学习笔记VAE 跟 GAN 比较,它们的目标基本是一致的——希望构建一个从隐变量 Z 生成目标数据 X 的模型,但是实现上有所不同。生成模型的难题就是判断生成分布与真实分布的相似度,因为我们只知道两者的采样结果,不知道它们的分布表达式,因此KL散度不适用。对于这个问题,GAN 的思路-把这个度量...原创 2019-03-06 16:33:58 · 3140 阅读 · 0 评论 -
Ladder Net 学习笔记
所阅读的原文链接: 深度学习(三十二)半监督阶梯网络学习笔记Motivation无监督学习:尽可能的保持数据中的原始信息有监督学习:要求只保留与任务相关的信息,过滤掉与任务无关的信息在进行半监督学习的时候,两者的目标之间就会产生矛盾;因此,阶梯网络考虑设计一个网络模型,用两个分支把监督任务相关的信息和无关的信息尽可能的分开。阶梯网络结构Loss:C(0)+C(1)+...+C...原创 2019-03-06 16:33:38 · 1060 阅读 · 0 评论 -
GAN学习笔记
李宏毅老师讲解的Generative Adversarial NetworkReview: Auto-encoder -> VAE ->GANauto-encoder的学习结果中的decoder可以拿出来,喂一个code可以生成一个imageVAE更进一步引入了噪声,学习目标仍然是希望input 和output尽可能的接近,但不能单纯最小化两者之间的差异,因为这样学出来的结果...原创 2018-11-28 14:54:53 · 321 阅读 · 0 评论 -
[阅读笔记]《解析卷积神经网络_深度学习实践手册》魏秀参著
书籍下载地址:http://lamda.nju.edu.cn/weixs/book/CNN_book.pdf 这本书名虽然有实践两个字,但内容还是主要介绍在实践框架中涉及的基本概念、方法和技巧介绍,侧重于实践中的概念介绍并不是手把手告诉你如何在某平台上搭建一个卷积神经网络,因此想要动手实践方面的指导的话并不推荐此书。 以下是笔者的阅读笔记,因为我也是新手在入门,因此主要为章节内容...原创 2019-03-06 16:34:22 · 1629 阅读 · 0 评论 -
【阅读笔记】《TensorFlow 实战》黄文坚 唐源著
Chp 1 TensorFlow 基础TensorFlow 来由:在计算图的边中流动(flow)的数据被称为TensorClient通过session的接口与master及多个worker相连,master负责指导所有worker按流程执行计算图,而每个worker可以与多个设备相连;TemsorFlow有单机版和分布式版两种实现 不同设备间的数据通信通过设置发送节点和接收节点实现容...原创 2019-03-06 16:32:02 · 441 阅读 · 0 评论 -
[论文阅读] Learning with Augmented Class by Exploiting Unlabeled Data
论文原文下载链接Learning with Augmented Class by Exploiting Unlabeled DataPart 1- Introduction传统机器学习基于的静态设定在开放变化的环境中并不适用,为了解决这个问题,有一系列被称为增量学习(Incremental learning, IL)的方法被提出。 增量学习(Incremental...原创 2019-03-06 16:33:12 · 646 阅读 · 1 评论