liyaohhh-CSDN博客

原创 Visual Reinforcement Learning with Imagined Goals

这篇文章的核心使用Variational Autoencoder配合高斯分布将图像转换到另一个空间下。使用编码器encoder的输出结果作为状态和目标。这种编码方式优于欧式空间的度量方法，称之为latent space。使用Variational Autoencoder的好处如下：Provides a space where distances are more meaningful, and...

2018-08-18 11:41:51 895 1

原创 Q Learning vs Policy Gradients

Policy Gradients is generally believed to be able to apply to a wider range of problems. For instance, on occasions when the Q function (i.e. reward function) is too complex to be learned, DQN will fa...

2018-08-17 22:38:25 861

原创 A Distributional Perspective on Reinforcement Learning

传统的强化学习算法例如Q-learning算法学习的是state-action值函数，而这篇文章的核心是学习state-action的概率分布。具体各简单的例子：例如我们在上班是需要经过6站地铁，每站地铁平均需要5分钟，则上上班需要30分钟。如果每个星期（5天），地铁都会出毛病，则就需要耽误耽搁一个小时。正常情况下上班的时间期望，也就是均值是30分钟，在火车出现故障的情况下，则每天的上班时间期...

2018-08-16 23:25:22 2192

原创 An End-to-End Approach to Natural Language Object Retrieval via Context-Aware Deep Reinforcement Lea

An End-to-End Approach to Natural Language Object Retrieval via Context-Aware Deep Reinforcement Learning这篇文章的核心就是使用使用强化学习的观点，在图像西红找出最合适的物体边框。强化学习的核心是在不同的状态下执行不同

2017-11-28 19:43:12 987

原创 Joint Sequence Learning and Cross-Modality Convolution for 3D Biomedical Segmentation笔记

Joint Sequence Learning and Cross-Modality Convolution for 3D Biomedical Segmentation笔记传统的图像都是二维的自然图像，使用CNN做一个end-to-end的架构，做一个以图生图的

2017-11-10 16:48:53 1482 2

原创 Deep Deterministic Policy Gradient（DDPG）

Deep Deterministic Policy Gradient 有不对之处，还请告知

2017-10-07 10:32:15 2955

原创 Actor Critic算法源码分析

Actor Critic算法源码分析 Actor-Critic算法主要是为了解决Policy Gradient算法中仅能在一个回合完成之后才能更新参数。简单的说是在玩游戏结束了之后，才能对参数进行更新。Policy Gradient算法从一个游戏的整体回合来看，加大好动作的权重，减小不好动作的权重。下面贴出两种算法对应的代码参考；Policy Gradientimpor

2017-09-30 10:15:53 3844

原创 Caffe源码分析：solver，Net，layer的依赖关系

Caffe源码分析：solver，Net，layer的依赖关系在caffe的执行过程过，核心的调用时Layer的forward和backward函数，今天在这里详细的分析一下caffe中，solver到底是如何执行Layer的forward函数的。首先在caffe中最先创建的是一个solver，我们先看一下solver的创建。我们从每次执行的训练函数作为入口来看看，具体如下图所

2017-09-11 14:31:10 698

原创 tensorflow 权重初始化

如果激活函数使用sigmoid和tanh，怎最好使用xavirtf.contrib.layers.xavier_initializer_conv2d如果使用relu，则最好使用he initialtf.contrib.layers.variance_scaling_initializer

2017-08-14 19:35:01 20239

原创 tensorflow 使用正则化

Tensorflow 使用正则化Timport tensorflow.contrib.layers as layersdef easier_network(x, reg): """ A network based on tf.contrib.learn, with input `x`. """ with tf.variable_scope('EasyNet'):

2017-08-09 13:13:05 7064

原创 tensorflow使用不同的学习率

tensorflow使用不同的学习率var_list1 = [variables from first 5 layers]var_list2 = [the rest of variables]train_op1 = GradientDescentOptimizer(0.00001).minimize(loss, var_list=var_list1)train_op2 =

2017-08-09 13:08:38 5110 1

原创 Policy Gradient

使用策略网络玩游戏# hyperparametersimage_size = 80D = image_size * image_sizeH = 200batch_size = 10learning_rate = 1e-4gamma = 0.99decay_rate = 0.99render = False # display the game envi

2017-08-06 15:39:15 772

原创使用RNN模拟CNN中每个卷积层的关系

使用RNN模拟CNN中每个卷积层的关系import tensorflow as tffrom tensorflow.python.ops import rnn,rnn_cellimport pandas as pdimport numpy as npfrom sklearn.metrics import confusion_matriximport timefrom dat

2017-07-09 19:01:58 1414 1

原创 CNN_LSTM

使用LSTM代替CNN中的全连接层import tensorflow as tfimport pandas as pdimport numpy as npfrom sklearn.metrics import confusion_matrixfrom tensorflow.python.ops import rnn,rnn_cellimport timefrom d

2017-07-09 19:00:08 8612 6

原创 Visual Saliency Prediction with Generative Adversarial Networks

Visual Saliency Prediction with Generative Adversarial Networks

2017-01-19 19:52:33 890

原创 tensorflow GTX1070 安装

tensorflow GTX1070 安装由于在安装caffe之前，已经部署了cuda8.0版本，我们在这里安装很简单。 1)下载安装包tensorflow_gpu-0.12.0-cp27-none-linux_x86_64.whl 2)pip install tensorflow_gpu-0.12.0-cp27-none-linux_x86_64.whl 就可

2016-12-31 15:47:57 1584

原创 Show and Tell: Lessons learned from the 2015 MSCOCO Image Captioning Challenge代码

Show and Tell: Lessons learned from the 2015 MSCOCO Image Captioning Challenge代码 Image caption任务是给定一幅图像，用一幅图像来描述图像包含的信息。其中包含两方面的内容，图像特征提取和语句序列描述，其

2016-12-31 15:19:36 3155

原创 Caffe：LSTM使用

Caffe LSTM使用name: "BasicLstm"layer { name: "data" type: "HDF5Data" top: "data" //输入数据 top: "cont" //数据切分（不是1就是0) top: "label"//对应的标签 include { phase: TRAIN } hdf5_data_param {

2016-12-27 13:46:47 10226 9

原创 caffe:LSTM源码分析

caffe:LSTM源码分析

2016-12-27 12:13:13 4584 2

原创 caffe源码学习:softmaxWithLoss前向计算

caffe源码学习:softmaxWithLoss 在caffe中softmaxwithLoss是由两部分组成，softmax+Loss组成，其实主要就是为了caffe框架的可扩展性。表达式（1）是softmax计算表达式，（2）是sfotmaxLoss的计算损失表达。在caffe中是单独的计算每层的输入和输出，然后再进行向后传递data结果和向前传递diff的结果。

2016-08-04 09:44:05 15307 7

原创 Latex学习(一）

\documentclass{article}\usepackage{amsmath}\begin{document}\begin{equation*} 1 + 2 = 3 \end{equation*}\begin{equation*} 1 = 3 - 2\end{equation*}\begin{align*} 1 + 2 &= 3 \\ 1 &= 3

2016-08-03 10:46:53 688

原创深度学习入门:Simultaneous Feature Learning and Hash Coding with Deep Neural Networks

Simultaneous Feature Learning and Hash Coding with Deep Neural Networks 这篇paper也是和深度hash相关的，该论文分为三个部分，如下图所示：输入的image这里使用的是三个输入图像，有两个图想属于同一个class，另一个图像和属于另一个class。在试验部分，作者让三个image使用相

2016-07-29 11:10:26 3923 3

原创深度学习资源链接(更新中)

神经网络入门:http://neuralnetworksanddeeplearning.com/chap1.html Caffe快速入门http://shengshuyang.github.io/A-step-by-step-guide-to-Caffe.html CNN的反向传播http://ufldl.stanford.edu/tutorial/supervised

2016-07-28 11:03:16 1765

原创 Caffe源码学习:Net

Caffe源码学习:Net

2016-07-20 20:25:01 1373

原创 caffe源码学习:layer

caffe源码学习:layer

2016-07-20 18:14:31 753

原创 caffe源码学习:Blobs

caffe源码学习:Blobs caffe 的blob是caffe框架的核心，主要是由number*channel*weight*high组成的一个四维的tensor。首先是blob.hp定义的头文件。上图表示的是blob的两个构造函数，现版本的caffe第一个已经过时。上图表示的是reshape函数，这个函数主要是在调用Layer::Res

2016-07-19 23:40:30 1746

原创深度学习入门:Supervised Hashing for Image Retrieval via Image Representation Learning

Supervised Hashing for Image Retrieval via Image Representation Learning 这篇论文主要是哈希方法引入CNN的首篇文章。核心思想是把一个image encode成为一个二进制表示的vector。这样做的好处是可以大幅度的减少存储feature的磁盘开销。该片pape

2016-07-07 18:57:18 7562 3

原创深度学习入门笔记:Fast Image Search with Deep Convolutional Neural Networks and Efficient Hashing Codes

Fast Image Search with Deep Convolutional Neural Networks and Efficient Hashing Codes

2016-06-28 09:11:59 1229

原创深度学习入门:Cross-dimensional Weighting for Aggregated Deep Convolutional Features

Cross-dimensional Weighting for Aggregated Deep Convolutional Features 在前面我们谈到了SPOC，主要说的是如何把圈基层的feature maps变成vector，使用的sum pooling技术，达到了不错的效果，但是回头想想还是有问题的，feature maps做为特征虽然到了很好的分类效果，但是有一个问题是，再

2016-06-28 09:05:12 3170

原创深度学习入门:Aggregating Deep Convolutional Features for Image Retrieval

深度学习入门:Aggregating Deep Convolutional Features for Image Retrieval 在原来的基于CNN的图像检索方法中使用的都是最后的全连接层的特征作为feature去进行相似度检索，但是这篇论文使用的是卷积层的特征。有一个区别需要注意的是卷积层的特征features map是N*W*H，但是fc层的特征却是一个vector

2016-06-25 19:34:54 4643 1

原创深度学习笔记:Holistically-Nested Edge Detection

深度学习笔记:Holistically-Nested Edge Detection

2016-06-09 11:21:29 4313

原创深度学习入门:Good Practice in CNN Feature Transfer

深度学习入门笔记:Good Practice in CNN Feature Transfer 这篇paper主要谈到了三个方面： 1）CNN对于输入图像的大小很敏感，因为不同大小的图像在整个下采样的过程中会有不同程度的精度损失。 2) CNN最经常使用的是VGG16，这里就会涉及到对于不同的应用应该使用不同层次的特征使用。主要是因为浅层的更加倾向于抽取

2016-06-02 16:56:19 2374 2

原创 Couldn't import dot_parser, loading of dot files will not be possible

Couldn't import dot_parser, loading of dot files will not be possible 今天在用caffe的画图工具的时候提示说没有pydot这个model模块，但是原来是安装的过啊，然后索性删除它，在重新安装，这个时候问题果然来了，记得第一次安装的时候是没有这个问题的：Couldn't import dot_parser, l

2016-04-16 09:40:49 4369 1

原创机器学习：浅谈先验概率，后验概率

机器学习：浅谈先验概率，后验概率在学习贝叶斯网络模型的时候，接触到好多比较麻烦的概念，今天又复习了一下，就写一下笔记，用来巩固一下。主题模型LDA算法是自PLSA之后一个重大提升。PLSA的model如下： P(di) ------>P(z|di)--------->P(wj|zk) 上面的P(di)被认为是文档的概率

2016-04-12 21:58:36 26191 1

原创 numpy--prod和pad运算

numpy--prod和pad运算为了做一个笔记(●'◡'●)

2016-04-10 08:32:01 21171 4

原创机器学习:集成学习

机器学习:集成学习继承学习最初的model是并行的去计算一个model在不同的参数下得到的结果，我们从里面找一个最好。有些时候我们的model实在是精度上不去，就可以上集成学习，因为理论支撑：多个model集成的结果最差的情况就是和原来没有什么变化。最终集成得到的model的误差应该是单个model与集成之后model的误差和集成之后model和目标的误差之间的trade

2016-04-08 11:41:48 2435

原创机器学习：SVR支持向量机回归

机器学习：SVR支持向量机回归一直以来接触的都是支持向量去做分类，这里稍微谈一下SVR，就是用支持向量去做回归。SVR最回归在本质上类似于SVM，都有一个margin，只不过是这里的margin表示和SVM是不相同的，完全相反。在SVM中的margin是想把两个class分开，而这里SVR的margin是说:在margin里面的的数据是不会对对回归有任何的帮助，也就是没有贡献

2016-04-06 18:24:10 35623 4

原创机器学习：SVM学习笔记(三）

机器学习：SVM学习笔记(三) 前面在谈到SVM的时候，谈到了SVM中的权重W最终可以表示成为训练数据的线性组合。恰好，PLA和逻辑回归的最终的权重系数也可以表示成为训练数据的权重组合，如下图所示。不存在这么完美的恰巧，为什么上面的表达可以表示成为这样的呢？这里是因为上面的三个model的目标函数的组成是有相同之处的：L2正则化+约束条件。必须的

2016-04-05 16:02:18 874

原创 python中的list和array的不同之处

python中的list和array的不同之处 python中的list是python的内置数据类型，list中的数据类不必相同的，而array的中的类型必须全部相同。在list中的数据类型保存的是数据的存放的地址，简单的说就是指针，并非数据，这样保存一个list就太麻烦了，例如list1=[1,2,3,'a']需要4个指针和四个数据，增加了存储和消耗cpu。

2016-04-04 09:51:41 164020 4

原创机器学习：核方法和soft svm

核方法和soft svm 核方法：在用svm进行二分类的时候，如果数据在当前维上不是线性可分的，那么就消炎药把原始的样本数据投影到高维的空间上。高维可分之后在大会到现在的维度，但是这里有一个问题就是：这样做的运算量太大了。

2016-03-31 16:12:16 3117

mnist手写识别数据

spark聚类算法的数据

hadoop在eclipse下的相关软件包

零基础学算法答案

空空如也