梯度下降法综述

Gradient Descent Variants(1)Batch gradient descent: 计算整个数据集上, Cost function 对于parameters的偏导,而后更新梯度;对于convex error surfaces可以得到global minimum,而对于non-c...

2016-03-23 22:53:51

阅读数 3569

评论数 0

U-Net: Convolutional Networks for Biomedical Image Segmentation

1.下降部分conv+maxpool,上升部分conv_transpose+conv,浅色大箭头表示把两个feature map连起来 2.输入图片会比输出图片略大(因为没有padding和repeat) 3.支持任意大小的图片输入,采用mirror方式处理missing patch部分 ...

2016-03-20 22:00:36

阅读数 6552

评论数 0

GBDT--简单理解

梳理1.Model Ensemble 可以分为三大类:Bagging,Boosting, Stacking.2.Boosting可以说是一个思想(框架),而Adaboost等算法只是其一个子类,记得ICCV2015有一个结合CNN和Boosting的工作获得了Best Paper Award?:3...

2016-03-17 19:36:46

阅读数 2433

评论数 0

Learning Deconvolution Network for Semantic Segmentation

Intro:不同于FCN的Deconvolution(最后一层其实是双线性差值,weights不可学习),这篇文章中的Deconvolution layer中的params都是可以学习的: Idea:1. Unpooling:首先subpooling的时候记住max pooling layer选...

2016-03-15 16:21:13

阅读数 3596

评论数 0

Fully Convolutional Networks for Semantic Segmentation

UC伯克利的一篇文章介绍:1.Semantic Segmentation有两个固有性质:1)semantic: global information解决目标是什么的问题2)location:local information解决目标在哪的问题2.关于本文提出的FCN:1)利用现有的Classifi...

2016-03-11 19:48:50

阅读数 7031

评论数 1

Conditional Random Fields as Recurrent Neural Networks

牛津,斯坦福,IDL的一篇论文介绍:1.传统的用于Object Recognition的CNN很难转换为用于segmentation的 pixel-wise predicting:1)感受野过大以及pooling操作使的feature map很coarse2)缺少smooth机制导致poor ob...

2016-03-09 21:42:46

阅读数 3206

评论数 2

Deep Dream and Neural Style

Neural Style:通过优化三个loss:(1)style loss:主要是优化base image和style reference image之间的L2 距离(优化多个conv层的feature maps) (2)content loss:主要优化base image 和 combin...

2016-03-07 13:30:08

阅读数 1041

评论数 0

DeepLearning--Part3--Chapter16:Representation Learning(1) categories:

-Chapter 16: Representation Learning什么是好的Representation?有很多种可能的答案,这也是一个在以后的研究中还需要进行探索的问题。在本书中,我们给Representation下的定义则是Representation Learning能够使加下来的Le...

2016-03-06 15:58:25

阅读数 1094

评论数 2

DeepLearning--Part2--Chapter6:Feedforward-Deep-Networks(1)

Part 2 : Deep Networks: Modern Practices本书的这部分内容主要介绍一些已经有实际应用的深度学习方法。深度学习拥有很长的历史,也有宏大的愿景。一些深度学习方法尚未成熟,充满野心的目标也尚未实现,这些待发展的深度学习分支将在本书的最后一部分讨论。这部分讨论那些早已...

2016-03-06 15:57:26

阅读数 1591

评论数 0

Github部署Hexo

一:下载hexohexo需要两个依赖项: Node.js Git 安装完上面两个依赖项之后,运行以下命令进行安装(右键,点击git bash): $ npm install -g hexo-cli 二:部署在本地进入本地文件夹,运行以下命令: $ hexo init $ cd $ npm in...

2016-03-06 15:54:11

阅读数 614

评论数 0

Window10安装theano keras cuda

一: 软件安装(安装路径均默认)首先安装pycharm再安装VS2012继续安装Git(后面需要用git指令安装theano keras)接下来安装Anaconda(需要配置环境变量,后面说)打开pycharm,使用pycharm安装pip,指定版本为1.2.1(需要配置环境变量,后面说)打开cm...

2016-03-06 15:51:32

阅读数 2746

评论数 0

Keras笔记 -- objective

Keras定义了以下几种objective fuction:(1) mean-squared-error def mean_squared_error(y_true, y_pred): return K.mean(K.square(y_pred - y_true), axi...

2016-03-06 15:49:26

阅读数 5585

评论数 2

Multi-digits Recognition Using ConVNet on Mobile categories:

这是Stanford,Mobile Computer Vision课程的一个final report简介使用DeepBeliefSDK和opencv等工具,使用ConVNet模型做了一个Android APP。功能是能够从一张图中识别0-9几个数字。因为在移动设备上,设备的运算速度和memory都...

2016-03-06 15:46:50

阅读数 688

评论数 0

kaggle-浮游生物分类比赛一等奖---译文(第三部分)

接着上一篇的内容model averaging我们将多个模型融合的结果作为最后提交的内容1)Test-time augmentation对于每一个单独的模型,我们使用不同的augmentation得到不同的预测结果,然后将这些结果融合,这对performence的提升有很大的帮助。我们将Test-...

2016-03-06 15:42:42

阅读数 1512

评论数 0

kaggle-浮游生物分类比赛一等奖---译文(第二部分)

接着上一篇的内容Training1)validation我们使用分层抽样(stratified sampling)的方法,将已标注的数据集分出10%作为验证集(validation)。由于数据集过小,我们在验证集上的评估受到噪声的影响比较大,因此,我们也在排行榜上的其他模型上测试了我们的验证集。2...

2016-03-06 15:41:17

阅读数 1671

评论数 0

kaggle-浮游生物分类比赛一等奖---译文(第一部分)

原文 :Classifying plankton with deep neural networkcode:code作者在这次的比赛中获得了一等奖,team name是Deep Sea概要 1)介绍 2)预处理和data augmentation 3)network 结构 4)模型训练 5)非监督...

2016-03-06 15:39:14

阅读数 2398

评论数 0

深度学习资料汇总

title: 深度学习资料汇总 categories: - Summarize整理了平时自己用到的一些DL的资源网站 deeplearning.net UFLDL 机器学习日报 kaggle winner solution 斯坦福人工智能实验室课程列表+ppt 强化学习资料汇总 机器学习资...

2016-03-06 15:35:42

阅读数 689

评论数 0

What makes for effective detection proposals?

论文笔记 《What makes for effective detection proposals?》 最近开始准备回到detection大坑,刚好看到一篇关于object proposal的综述,而且貌似是中了PAMI的,所以就下载下来读了一下。论文的项目地址:https://...

2015-10-02 14:56:20

阅读数 1206

评论数 0

LSTM与GRU的一些比较--论文笔记

reference:Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling1.概要:传统的RNN在训练long-term dependencies 的时候会遇到很多困难,最常见的便是vanish gr...

2015-10-01 13:29:52

阅读数 59185

评论数 1

PRelu--Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification

微软研究院2015的一片论文。1.概要:PRelu其实是Relu的增强版,PRelu使得模型在ImageNet2012上的结果提高到4.94%,超过普通人的正确率;PRelu需要像更新权重weights一样使用BP更新一个额外的参数,但是相较于weights的数量来说,PRelu需要更新的参数总数...

2015-09-28 19:12:50

阅读数 7412

评论数 2

提示
确定要删除当前文章?
取消 删除
关闭
关闭