2016年03月_Xiaomin-Wu

原创梯度下降法综述

Gradient Descent Variants(1)Batch gradient descent:　计算整个数据集上, Cost function 对于parameters的偏导，而后更新梯度；对于convex error surfaces可以得到global minimum,而对于non-convex error surfaces能得到local minimum(2) Stochastic g

2016-03-23 22:53:51 3999

原创 U-Net: Convolutional Networks for Biomedical Image Segmentation

1.下降部分conv+maxpool,上升部分conv_transpose+conv,浅色大箭头表示把两个feature map连起来 2.输入图片会比输出图片略大（因为没有padding和repeat） 3.支持任意大小的图片输入，采用mirror方式处理missing patch部分 4.可以给loss加权

2016-03-20 22:00:36 7052

原创 GBDT--简单理解

梳理1.Model Ensemble 可以分为三大类：Bagging，Boosting， Stacking.2.Boosting可以说是一个思想（框架），而Adaboost等算法只是其一个子类，记得ICCV2015有一个结合CNN和Boosting的工作获得了Best Paper Award？：3.Boosting的前向分布算法（在每一步求解弱分类器Φ(m)和其参数w(m)的时候不去修改之前已经求

2016-03-17 19:36:46 3225

原创 Learning Deconvolution Network for Semantic Segmentation

Intro：不同于FCN的Deconvolution（最后一层其实是双线性差值，weights不可学习），这篇文章中的Deconvolution layer中的params都是可以学习的： Idea：1. Unpooling：首先subpooling的时候记住max pooling layer选择的最大值的location，然后在Unpooling层还原回原location，其它像素应该是用0代替

2016-03-15 16:21:13 3878

原创 Fully Convolutional Networks for Semantic Segmentation

UC伯克利的一篇文章介绍：1.Semantic Segmentation有两个固有性质：1）semantic： global information解决目标是什么的问题2）location：local information解决目标在哪的问题2.关于本文提出的FCN：1）利用现有的Classification model进行finetuning2）通过 skip connections来combin

2016-03-11 19:48:50 8003 1

原创 Conditional Random Fields as Recurrent Neural Networks

牛津，斯坦福，IDL的一篇论文介绍：1.传统的用于Object Recognition的CNN很难转换为用于segmentation的 pixel-wise predicting：1）感受野过大以及pooling操作使的feature map很coarse2）缺少smooth机制导致poor object delineation和small spurious region2.MRF（马尔科夫随机场）

2016-03-09 21:42:46 4512 2

原创 Deep Dream and Neural Style

Neural Style：通过优化三个loss：（1）style loss：主要是优化base image和style reference image之间的L2 距离（优化多个conv层的feature maps）（2）content loss：主要优化base image 和 combination image之间的L2距离（主要优化一层的feature maps）（3）total

2016-03-07 13:30:08 1269

翻译 DeepLearning--Part3--Chapter16:Representation Learning(1) categories:

-Chapter 16: Representation Learning什么是好的Representation？有很多种可能的答案，这也是一个在以后的研究中还需要进行探索的问题。在本书中，我们给Representation下的定义则是Representation Learning能够使加下来的Learning task变得更加的简单。In an unsupervised learning setti

2016-03-06 15:58:25 1320 2

翻译 DeepLearning--Part2--Chapter6：Feedforward-Deep-Networks（1）

Part 2 : Deep Networks： Modern Practices本书的这部分内容主要介绍一些已经有实际应用的深度学习方法。深度学习拥有很长的历史，也有宏大的愿景。一些深度学习方法尚未成熟，充满野心的目标也尚未实现，这些待发展的深度学习分支将在本书的最后一部分讨论。这部分讨论那些早已在工业界落地，正在大规模使用的深度学习方法。现在的深度学习提供了的一个强有力的监督学习的框架（frame

2016-03-06 15:57:26 1907

原创 Github部署Hexo

一：下载hexohexo需要两个依赖项：Node.jsGit安装完上面两个依赖项之后，运行以下命令进行安装（右键，点击git bash）：$ npm install -g hexo-cli二：部署在本地进入本地文件夹，运行以下命令：$ hexo init $ cd $ npm install三：将hexo部署在github上：首先需要注册一个github账号，生成一个类似于xxxx

2016-03-06 15:54:11 781

原创 Window10安装theano keras cuda

一: 软件安装（安装路径均默认）首先安装pycharm再安装VS2012继续安装Git（后面需要用git指令安装theano keras）接下来安装Anaconda（需要配置环境变量，后面说）打开pycharm，使用pycharm安装pip，指定版本为1.2.1（需要配置环境变量，后面说）打开cmd，使用以下指令安装theano(兼容keras，不然无法使用relu函数)：pip install

2016-03-06 15:51:32 2943

原创 Keras笔记 -- objective

Keras定义了以下几种objective fuction：(1) mean-squared-error def mean_squared_error(y_true, y_pred): return K.mean(K.square(y_pred - y_true), axis=-1)(2) root-mean-squared-error def root_mean_s

2016-03-06 15:49:26 6561 2

原创 Multi-digits Recognition Using ConVNet on Mobile categories:

这是Stanford，Mobile Computer Vision课程的一个final report简介使用DeepBeliefSDK和opencv等工具，使用ConVNet模型做了一个Android APP。功能是能够从一张图中识别0-9几个数字。因为在移动设备上，设备的运算速度和memory都受到了限制，所以作者设计了一个简单的卷积网络（两层卷积两层maxpooling），并且使用了batchi

2016-03-06 15:46:50 809

翻译 kaggle-浮游生物分类比赛一等奖---译文（第三部分）

接着上一篇的内容model averaging我们将多个模型融合的结果作为最后提交的内容1）Test-time augmentation对于每一个单独的模型，我们使用不同的augmentation得到不同的预测结果，然后将这些结果融合，这对performence的提升有很大的帮助。我们将Test-time augmentation简写为TTA。开始的时候，我们使用人工创造的仿射变换（affine t

2016-03-06 15:42:42 1961

翻译 kaggle-浮游生物分类比赛一等奖---译文（第二部分）

接着上一篇的内容Training1）validation我们使用分层抽样（stratified sampling）的方法，将已标注的数据集分出10%作为验证集（validation）。由于数据集过小，我们在验证集上的评估受到噪声的影响比较大，因此，我们也在排行榜上的其他模型上测试了我们的验证集。2）training algorithm所有的模型都是在加了Nesterov momentum的SGD优化

2016-03-06 15:41:17 2028

翻译 kaggle-浮游生物分类比赛一等奖---译文（第一部分）

原文：Classifying plankton with deep neural networkcode：code作者在这次的比赛中获得了一等奖，team name是Deep Sea概要1）介绍2）预处理和data augmentation3）network 结构4）模型训练5）非监督和半监督方法6）model averaging7）汇总（Miscellany）8）总结介绍1）要

2016-03-06 15:39:14 3223

原创深度学习资料汇总

title: 深度学习资料汇总 categories: - Summarize整理了平时自己用到的一些DL的资源网站deeplearning.netUFLDL机器学习日报kaggle winner solution斯坦福人工智能实验室课程列表+ppt强化学习资料汇总机器学习资料汇总卷积网络Trick卷积网络Trick-EnglishOpenCV(python/c++)D

2016-03-06 15:35:42 855

meanme的专栏