RRZS的博客

机器学习学习笔记

The Effectiveness of Data Augmentation in Image Classification using Deep Learning读书笔记

本文介绍了多种常见的数据增加的方法,包括传统的(翻转,旋转等),使用gan进行数据生成的,最好作者提出了自己的方法,并取得了跟state of the art类似的效果。 1.related work 作者指出一些常见的防止过拟合的方法: 在模型方面 (1)对weight加上正则项,(2)...

2019-01-19 17:27:16

阅读数 80

评论数 0

IMAGENET-TRAINED CNNS ARE BIASED TOWARDS TEXTURE; INCREASING SHAPE BIAS IMPROVES ACCURACY AND ROBUST

这是一篇ICLR在review阶段的文章,特别有意思而且带给我挺大的启发的,文章从一只披着象皮的猫究竟会被识别为大象还是猫这个问题入手,揭示了神经网络根据物体的texture进行识别而非我们以为的根据物体的形状。同时,给予我们启发:如何针对性地去引导神经网络训练以及当神经网络学习到的东西不是我们想...

2019-01-08 16:58:38

阅读数 361

评论数 0

Spectral Norm Regularization for Improving the Generalizability of Deep Learning论文笔记

这篇文章的贡献点在于提出了一种新的正则化方法,并证明了其相比于其他的正则化方法具有更好的效果(测试集误差更低以及训练误差和测试误差之间的gap更小),之后的gan网络很多都沿用了这个正则化的方法,也验证了该方法的有效性。 一、Spectral Norm Regularization 1.1谱范...

2018-12-03 00:03:07

阅读数 123

评论数 1

Self-Attention Generative Adversarial Networks读书笔试

这是罗格斯大学和google brain的文章,是big-gan之前生成模型中的state of the art,而且big gan也是用了这个模型的结构。这篇文章逻辑十分严密,介绍也很详细,实验部分安排得相当不错,给出了很多可视化的结果用于分析。 文章的主要贡献有以下三点: (1)提出了一个...

2018-11-28 10:15:08

阅读数 263

评论数 0

论文笔记VARIATIONAL DISCRIMINATOR BOTTLENECK: IMPROVING IMITATION LEARNING

这是2019年ICLR的一篇文章,作者提出了一种缓解gan训练过程中生成器梯度学习的问题,并在多个任务中取得了state of the art的效果。 一、作者先提出了一个gan训练过程中经常会遇到的问题,当判别器训练得不好的时候,会导致生成器得不到准备的指导信息,而当判别器训练得太好的时候,会...

2018-11-23 17:39:45

阅读数 201

评论数 0

An Overview of Multi-Task Learning in Deep Neural Networks

在人类学习中,不同学科之间的往往能起到相互促进的作用。那么,对于机器学习是否也是这样的,我们不仅仅让它专注于学习一个任务,而是让它学习多个相关的任务,是否可以让机器在各个任务之间融会贯通,从而提高在主任务上面的结果呢? 1.multi-task的两种形式 前面的层是权重共享的,后面的层权重...

2018-10-04 17:12:09

阅读数 84

评论数 0

Some Inputs Work Better as Outputs

现在很多比赛大多数人都喜欢去堆特征,特别是随着计算机资源的发展,成千上万的特征成为可能,我们能否换一种方式来解决这个问题,将一部分的特征作为output来做multi-task的任务来提高我们的performance呢,这篇文章就是论证了这个问题,实验表明当输入的存在一定的noisy的时候,将其作...

2018-10-04 11:49:46

阅读数 31

评论数 0

Holistically-Nested Edge Detection读书笔记

这是一篇边缘检测的文章,边缘检测跟semantic segmentation有点类似,边缘检测就是把边缘设置为1,其他的为0;而semantic segmentation只是把边缘内部为1,而外部为0。如果我们把边缘检测出来,只要把内部设置为1,外面设置为0就可以得到semantic segmen...

2018-07-10 22:33:38

阅读数 1067

评论数 1

Focal Loss for Dense Object Detection读书笔记

这是17年ICCV的paper,来自kaiming。正如作者所言,这篇paper并不novel,但是有较大的contribution。但也是一篇很有争议的paper,很多人将该想法应用了其他task上面并不work,少量work的提升也不明显。这篇文章的背景是在detection的任务方面,one...

2018-07-09 21:54:56

阅读数 419

评论数 0

Boundary Regularized Convolutional Neural Network for Layer Parsing of Breast Anatomy in ABUS

这是关于2D的AUBS的文章,刊登在micca上面。之前一直都在关注自然图像的paper,作者不得不关注一下医疗图像的。作者在文章中提出了两个创新点2-stages domain transfer(2DT)和deep boundary supervision(DBS)。1.2DT作者提出使用自然图...

2018-07-05 20:13:38

阅读数 45

评论数 0

pyramid attention network for semantic segmentation读书笔记·

这是一篇semantic segmentation的文章,与之前的segmentation最大的区别在于作者运用没有使用ASPP()结构去提取特征,而采用了FPA(Feature Pyramid Attention)和GAU(Global attention upsample),即在卷积的同时引入...

2018-07-04 21:11:16

阅读数 505

评论数 0

Deep Multi-scale Convolutional Neural Network for Dynamic Scene Deblurring笔记

这是一篇CVPR2018的论文,讲的是去照片的去模糊化,包括手抖,快速移动等原因造成的模糊。作者抛弃了创造性地提出的基于res-net的end to end的方法,该方法与semantic segmentation等dense prediction类似,主要的亮点有一下两个:1.采用multi-s...

2018-07-03 09:32:06

阅读数 380

评论数 0

Image-to-Image Translation with Conditional Adversarial Networks笔记

论文的链接:https://arxiv.org/pdf/1611.07004.pdf代码链接:https://github.com/phillipi/pix2pix本文是UC Berkeley AI研究院关于图像风格转化的文章,该文章首先指出gan可以自动地学习目标函数,从而对于一些难以确定目标函...

2018-02-11 23:00:17

阅读数 335

评论数 0

Factorization Machines(因子分解机)

本文是大阪大学的Steffen Rendle 文章Factorization Machines ,该作者是因子分解机的提出者,后续又对其进行改进,本文是对其原始论文的解读。一、FM的优点在于其可以提取用户和项目的交叉特征,由于在提取特征的时候采用的是类似矩阵分解的方法,可通过控制特征的维数k来保持...

2018-02-10 16:47:21

阅读数 1301

评论数 0

Neural Social Collaborative Ranking (NSCR) for the new task of cross-domain social recommendation

原文链接:https://arxiv.org/pdf/1706.03205.pdf 这篇文章是推荐算法与深度学习结合的文章,其将数据信息分为信息导向和社交导向,前者包括用户与项目的交互信息,用户的特征信息,项目的特征信息;后者包括用户与用户之间的社交信息,尤其强调熟人间的推荐。该文章主要是为了将社...

2018-02-08 23:16:24

阅读数 216

评论数 0

Neural Collaborative Filtering(NCF)(a improvement to MF)

这篇文章主要是用深度学习做推荐,发表在WWW上的,NUS的何向南博士 代码地址:https://github.com/hexiangnan/neural_collaborative_filtering 下面是本人对文章的一些总结 一、矩阵分解(matrix factorization) ...

2018-02-07 15:29:01

阅读数 594

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭