gdtop的个人笔记

作为个人学习的记录,欢迎大家一起讨论。

[ICML19] Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations

谷歌等一篇名为《挑战无监督分离式表征的常见假设》的论文,表明 (没有归纳偏置的) 无监督方法学不到可靠的分离式表征 (Disentangled Representations) 。本篇是ICML2019的两篇best paper之一。 Abstract 分离式表征的无监督学习背后的关键思想是,...

2019-06-13 11:41:59

阅读数 216

评论数 0

Domain Separation Networks

本篇是迁移学习专栏介绍的第十九篇论文,发表在NIPS 2016上。Konstantinos Bousmali的工作。近期工作:Unsupervised Pixel–Level Domain Adaptation。 Abstract 大规模数据收集和注释的成本常常使机器学习算法应用于新任务或数据...

2019-06-11 22:17:54

阅读数 162

评论数 0

[CVPR19]MnasNet: Platform-Aware Neural Architecture Search for Mobile

本篇发表于CVPR2019,作者为Google的Quoc V Le。本篇使用的额scale方法应该是ICML2019发表EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks的姊妹篇。不仅如此,本篇提出的架构...

2019-06-09 17:38:51

阅读数 84

评论数 0

[ICML19]EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks

个人觉得idea很不错,中心思想是直接对整体架构进行scale以达到减少参数的目的,也是Quoc V. Le刚发表在ICML19的文章,并且在Imagenet达到了最新的state-of-art级别的work。pytorch版本 Abstract 卷积神经网络(ConvNets)通常是在固定的...

2019-06-09 16:31:14

阅读数 80

评论数 0

[TF进阶] 循环神经网络

实例55:RNN # -*- coding: utf-8 -*- # 1. 定义基本函数 import copy, numpy as np np.random.seed(0) #随机数生成器的种子,可以每次得到一样的值 # compute sigmoid nonlinearity def s...

2019-05-28 15:27:25

阅读数 40

评论数 0

[TF进阶] 卷积神经网络

实例37:卷积函数的使用 # -*- coding: utf-8 -*- import tensorflow as tf # [batch, in_height, in_width, in_channels] [训练时一个batch的图片数量, 图片高度, 图片宽度, 图像通道数] ...

2019-05-28 15:00:14

阅读数 50

评论数 4

[ICLR19] IMPROVING MMD-GAN TRAINING WITH REPULSIVE LOSS FUNCTION

本篇是ICLR2019的oral paper。[github] ABSTRACT 生成对抗性网络(GANs)被广泛用于学习数据采样过程,在有限的计算预算下,其性能可能在很大程度上取决于损失函数。本研究修正了用maximum mean discrepancy最大平均偏差(MMD)作为GAN损失函...

2019-05-12 11:11:12

阅读数 135

评论数 0

[ICLR19] ORDERED NEURONS: INTEGRATING TREE STRUCTURES INTO RECURRENT NEURAL NETWORKS

本篇是ICLR2019的两篇Best Paper之一。另一篇:THE LOTTERY TICKET HYPOTHESIS: FINDING SPARSE, TRAINABLE NEURAL NETWORKS ABSTRACT 自然语言是分层结构的:较小的单元(例如短语)嵌套在较大的单元(例如子...

2019-05-11 18:08:34

阅读数 191

评论数 0

[ICLR19] THE LOTTERY TICKET HYPOTHESIS: FINDING SPARSE, TRAINABLE NEURAL NETWORKS

本篇是ICLR2019的两篇Best Paper之一。另一篇:ORDERED NEURONS: INTEGRATING TREE STRUCTURES INTO RECURRENT NEURAL NETWORKS ABSTRACT 神经网络剪枝技术可以在不影响精度的前提下,将训练网络的参数数减...

2019-05-11 15:47:41

阅读数 269

评论数 0

[TF进阶] 多层神经网络

多层神经网络——解决非线性问题 实例28:用线性逻辑回归分析肿瘤的良性or恶性 1. 生成样本类 # -*- coding: utf-8 -*- import tensorflow as tf import matplotlib.pyplot as plt import numpy as ...

2019-04-27 14:24:00

阅读数 121

评论数 2

[TF进阶] MNIST手写体识别完整代码&单个神经网络

实例21:识别图中模糊的手写数字 1. 下载数据集 from tensorflow.examples.tutorials.mnist import input_data mnist = input_data.read_data_sets("MNIST_data/", on...

2019-04-24 19:47:10

阅读数 118

评论数 0

[TF进阶] Tensorflow编程基础

实例5:演示session使用 # -*- coding: utf-8 -*- import tensorflow as tf hello = tf.constant('Hello, TensorFlow!') #定义一个常量 sess = tf.Session() ...

2019-04-24 15:12:18

阅读数 59

评论数 3

[TF进阶] 线性回归

实例1:从一组看似混乱的数据中找出

2019-04-24 13:39:08

阅读数 46

评论数 4

Domain-Adversarial Training of Neural Networks

本篇是迁移学习专栏介绍的第十八篇论文,发表在JMLR2016上。 Abstrac 提出了一种新的领域适应表示学习方法,即训练和测试时的数据来自相似但不同的分布。我们的方法直接受到域适应理论的启发,该理论认为,要实现有效的域转移,必须基于不能区分训练(源)域和测试(目标)域的特征进行预测。 该...

2019-04-19 15:49:43

阅读数 393

评论数 0

Simultaneous Deep Transfer Across Domains and Tasks

本篇是迁移学习专栏介绍的第十七篇论文,由Eric Tzeng, Judy Hoffman等完成发表在ICCV2016上,引用量高达400+,也算是迁移学习领域相当高引的一篇好文章。 Abstract 最近的报告表明,一个训练在大规模数据集上的通用监督深度CNN模型减少了数据集bias,但没有完...

2019-04-19 10:01:06

阅读数 165

评论数 0

Direct speech-to-speech translation with a sequence-to-sequence model

本篇详细介绍了Google Translate的新技术,从音频直接翻译音频。这个模型叫做S2ST(speech-to-speech translation)。原理是通过一个语音的声谱图映射到另一种语音的声谱图。 Abstract 我们提出了一种基于注意力的序列到序列神经网络,它可以直接将一种语...

2019-04-17 18:20:17

阅读数 825

评论数 2

Deep CORAL: Correlation Alignment for Deep Domain Adaptation

本篇是迁移学习专栏介绍的第十六篇论文,由BU完成发表在ECCV2016上。 Abstract 深度神经网络能够从大量标记的输入数据中学习强大的表示,但是它们不能很好地概括输入分布的变化。提出了一种域自适应算法来补偿由于域移动而导致的性能下降。在本文中,我们解决了目标域未标记的情况,需要无监督的...

2019-04-17 16:32:10

阅读数 187

评论数 0

Domain Adaptation for Object Recognition: An Unsupervised Approach

本篇是迁移学习专栏介绍的第十五篇论文,由马里兰大学帕克分校完成发表在ICCV2011上,引用量超600+的论文,算是domain adaptation发表较早的论文。 Abstract 将训练在源域上的分类器用于识别来自新目标域的实例是最近受到关注的一个重要问题。在本文中,我们提出了在对象识别...

2019-04-17 16:04:09

阅读数 60

评论数 0

Domain Adaptation for Large-Scale Sentiment Classification: A Deep Learning Approach

本篇是迁移学习专栏介绍的第十四篇论文,由Yoshua Bengio领导完成发表在ICML2011上,引用量超1000+的论文,算是domain adaptation发表较早的论文。 Abstract 在线评论online reviews和推荐recommendations的指数增长使得情感分类...

2019-04-17 15:33:32

阅读数 60

评论数 0

DANN:Unsupervised Domain Adaptation by Backpropagation

本篇是迁移学习专栏介绍的第十三篇论文,发表在ICML15上。论文提出了用对抗的思想进行domain adaptation,该方法名叫DANN(或RevGrad)。核心的问题是同时学习分类器、特征提取器、以及领域判别器。通过最小化分类器误差,最大化判别器误差,使得学习到的特征表达具有跨领域不变性。 ...

2019-04-17 14:10:50

阅读数 767

评论数 0

提示
确定要删除当前文章?
取消 删除