Machine Learning
文章平均质量分 89
Ravi-Jay
自知在我
展开
-
理解RBM&DBN
RBM关于受限玻尔兹曼机RBM,网上很多博客[1][2]都总结推导RBM很详细,很少有人能通俗地解释一下RBM的用途和有点,我觉得[2]写得很好,可以参考辅助理解,下面简单总结一下我的理解和一些相关知识。网络结构RBM是一个无监督拟合训练数据分布的一种方法。包含两层,可视层(V)和隐藏层(H)。层与层之间是全连接,层内部每个节点互相独立,参数包含(W,a,b)。网络结构比较简单,给定训练数据...原创 2018-09-18 14:42:28 · 1031 阅读 · 1 评论 -
DBN、RBM - 涉及的基础知识
最近在看zhirong Wu的3D shapeNets的论文,涉及到RBM及DBN的一些知识,正好趁这个机会整理一下相关知识。先说一下RBM(Restricted Boltzmann Machine)是指受限玻尔兹曼机,是一种基于随机神经网络来解释的概率图模型。Hinton在2016年提出DBN(Deep Belief Network)后,DBN和RBM在机器学习界引起了很广泛的应用。涉及知识...原创 2018-09-18 14:45:52 · 835 阅读 · 0 评论 -
cs231n-notes-Lecture-2/3
CS231n主要是关于image classification的一些算法以及迁移到其他问题的几个应用。这几节的内容比较基础,正好有时间就过一遍。Lecture 2 image classification pipelinecompare two imagesL1 (Mahanttan)Distance: $ L = \sum{|X_{ij} - Y_{ij}|}$depends on ...原创 2018-09-18 14:52:40 · 123 阅读 · 0 评论 -
cs231n-notes-Lecture-4/5/6: 反向传播/激活函数/数据预处理/权重初始化/batch norm
Lecture-4 Backpropagation and Neural NetworksComputational GraphsNode gradient = [local gradient] x [upstream gradient]add gate: gradient distributormax gate: gradient router (choose only a way)...原创 2018-09-18 15:00:51 · 280 阅读 · 0 评论 -
cs231n-notes-Lecture-7:各种优化方法介绍与比较
Lecture-7 Training Neural NetworksOptimizationSGDConsVery slow progress along shallow dimension, jitter along steep direction. 2. local minima or saddle point. Saddle points are much more comm...原创 2018-09-18 15:07:53 · 371 阅读 · 0 评论 -
cs231n-notes-Lecture-9:AlexNet/VGGNet/GoogleNet/ResNet
Lecture 9 CNN ArchitecturesAlexNetVGGNetSmall filtersWhy?Stack of three 3x3 conv (stride 1) layers has same effective receptive field as one 7x7 conv layerBut deeper, more non-linearitiesAn...原创 2018-09-18 15:11:22 · 235 阅读 · 0 评论 -
cs231n-notes-Lecture-10:Recurrent Neural Networks
Recurrent Neural Networks: Process Sequencesone to one: Vanilla Neural Networks. rawone to many: eg. Image Captioning image -> sequence of wordsmany to one: e.g. Sentiment Classification seque...原创 2018-09-18 15:15:14 · 197 阅读 · 0 评论