2016年06月_mydear_11000

转载 Must Know Tips/Tricks in Deep Neural Networks (by Xiu-Shen Wei)

Deep Neural Networks, especially Convolutional Neural Networks (CNN), allows computational models that are composed of multiple processing layers to learn representations of data with multiple levels

2016-06-30 17:53:24 999

转载神经网络训练中的Tricks之高效BP（反向传播算法）

Tricks！这是一个让人听了充满神秘和好奇的词。对于我们这些所谓的尝试应用机器学习技术解决某些问题的人，更是如此。曾记得，我们绞尽脑汁，搓手顿足，大喊“为什么我跑的模型不work？”，“为什么我实现的效果那么差？”，“为什么我复现的结果没有他论文里面说的那么好？”。有人会和你说“你不懂调参！里面有很多Tricks的！”，“可能作者没有完全描述实现过程的Tricks，你发邮件去问问原作者！”我的天

2016-06-29 11:46:01 937

转载 MXNET是这样压榨深度学习的内存消耗的

原文地址:https://github.com/dmlc/mxnet/blob/master/docs/zh/note_memory.md最近在学习mxnet，发现mxnet的有些思想挺好，这里试着翻译它的一篇文章，也试着了解减少内存消耗的设计原则，希望这篇文章对大家有帮助。原文链接Squeeze the Memory Consumption of DeepLearning深度学习的重要主

2016-06-23 16:06:46 5042

转载 Caffe搭建：常见问题解决办法和ubuntu使用中遇到问题解决方法（持续更新）

严正声明：　　在linux下面使用命令行操作时，一定要懂得命令行的意思，然后再执行，要不然在不知道接下来会发生什么的情况下输入一通命令，linux很有可能崩掉。　　因为在linux下面，使用sudo以及root权限时，是可以对任意一个文件进行操作处理的，即使是正在使用的系统文件。　　caffe中出现下面这些问题说明在安装过程中有一些步骤没有按照官网说明来，如果按照官网说明一步步安装

2016-06-22 16:14:14 8161

转载 Caffe+Ubuntu 15.04+CUDA 7.0新手安装配置指南

特别感谢在学习和使用Caffe和CNN的过程中，超级大神Yanqing Jia, Eric Tzeng, Evan Shelhamer, Ross Girshick, Sergey Karayev, Sergio Gadarrama给予的帮助。特别说明：0. Caffe 官网地址：http://caffe.berkeleyvision.org/1. 本文为作者亲自实验完成，但仅限用

2016-06-22 15:27:22 1219

转载 Caffe、TensorFlow、MXnet三个开源库对比

最近Google开源了他们内部使用的深度学习框架TensorFlow[1]，结合之前开源的MXNet[2]和Caffe[3]，对三个开源库做了一些讨论，其中只有Caffe比较仔细的看过源代码，其他的两个库仅阅读官方文档和一些研究者的评论博客有感，本文首先对三个库有个整体的比较，再针对一些三者设计的不同数据结构、计算方式、gpu的选择方式等方面做了比较详细的讨论。表格1是三者的一些基本情况的记录和比

2016-06-22 14:46:47 590

转载多篇用DL做Semantic Segmentation的文章总结

经过前面的DN了解学习，开始上手fcn的一些不错的文章，刚刚好搜到一篇总结性的文章，先搬过来，后面会详细学习这里面的每一篇。========================================================================================================最近总结了一下语义分割相关的文章。这是我在一篇文章(

2016-06-22 09:50:18 1651

转载基于Caffe的人脸检测实现

0. 引言深度学习可以说是在人脸分析相关领域遍地开花，近年来在人脸识别，深度学习在人脸检测，人脸关键点检测中有很广泛的应用，这篇文章中，初步实现了基于深度学习CNN的人脸检测。1. 方法讨论深度学习一般没有进行直接的检测，现有的检测大多都是基于分类的检测，主要的方法有两种：1.1. 基于滑动窗口的分类最典型的方法就是OverFeat那一套，其主要的方法是：对于每一个尺度、每一个

2016-06-21 13:51:13 1261 1

转载 caffe模型可视化

通过前面的学习，我们已经能够正常训练各种数据了。设置好solver.prototxt后，我们可以把训练好的模型保存起来，如lenet_iter_10000.caffemodel。训练多少次就自动保存一下，这个是通过snapshot进行设置的，保存文件的路径及文件名前缀是由snapshot_prefix来设定的。这个文件里面存放的就是各层的参数，即net.params，里面没有数据(net.blo

2016-06-21 09:04:38 879

转载模型各层数据和参数可视化

先用caffe对cifar10进行训练，将训练的结果模型进行保存，得到一个caffemodel，然后从测试图片中选出一张进行测试，并进行可视化。In [1]:#加载必要的库import numpy as npimport matplotlib.pyplot as plt%matplotlib inlineimport sys,os,caffe

2016-06-21 09:03:26 1331

转载绘制网络模型流程图

python/draw_net.py, 这个文件，就是用来绘制网络模型的。也就是将网络模型由prototxt变成一张图片。在绘制之前，需要先安装两个库１、安装ＧraphViz# sudo apt-get install GraphViz注意，这里用的是apt-get来安装，而不是pip.2 、安装pydot# sudo pip install pydot

2016-06-21 09:02:34 2642

原创 mxnet 运行时问题集

1 TypeError: create() got an unexpected keyword argument 'top_k' $ pip uninstall mxnet $ pwd /usr/local/lib/python2.7/dist-packages $ sudo rm -rf ./mxnet-0.5.0-py2.7.egg

2016-06-14 15:52:25 1369

转载交叉熵代价函数

本文是《Neural networks and deep learning》概览中第三章的一部分，讲machine learning算法中用得很多的交叉熵代价函数。1.从方差代价函数说起代价函数经常用方差代价函数（即采用均方误差MSE），比如对于一个神经元（单输入单输出，sigmoid函数）,定义其代价函数为：其中y是我们期望的输出，a为神经元的实际输出【 a=σ(z), wh

2016-06-13 08:52:31 523

转载神经网络之激活函数面面观

日常 coding 中，我们会很自然的使用一些激活函数，比如：sigmoid、ReLU等等。不过好像忘了问自己一(n)件事：为什么需要激活函数？激活函数都有哪些？都长什么样？有哪些优缺点？怎么选用激活函数？本文正是基于这些问题展开的，欢迎批评指正！(此图并没有什么卵用，纯属为了装x …)Why use activation functions?激活函数通

2016-06-08 08:47:08 887

转载矩阵特征值分解与奇异值分解含义解析及应用

特征值与特征向量的几何意义矩阵的乘法是什么，别只告诉我只是“前一个矩阵的行乘以后一个矩阵的列”，还会一点的可能还会说“前一个矩阵的列数等于后一个矩阵的行数才能相乘”，然而，这里却会和你说——那都是表象。矩阵乘法真正的含义是变换，我们学《线性代数》一开始就学行变换列变换，那才是线代的核心——别会了点猫腻就忘了本——对，矩阵乘法就是线性变换，若以其中一个向量A为中心，则B的作用主要是

2016-06-06 09:48:41 891

转载怎样快糙猛的开始搞Kaggle比赛

最近比较多人问我怎么快速成为数据科学家可以挣钱多干活少整天猎头追跳槽涨一倍。我一般的答案是，没有这好事，但是搞搞Kaggle的比赛有助于快速成为数据科学家，之后挣钱多少看个人。关于Kaggle比赛是什么，限于篇幅关系，请自行谷歌。我不是专业机器学习的人，但是我见的太多了。对于有一定数理基础的人来说，快速起步搞起来个Kaggle比赛并且获得不错的名次，难度并非难于成为王思聪的官方老婆。这

2016-06-04 11:30:26 2126

转载主成分分析（Principal components analysis）-最大方差解释

在这一篇之前的内容是《Factor Analysis》，由于非常理论，打算学完整个课程后再写。在写这篇之前，我阅读了PCA、SVD和LDA。这几个模型相近，却都有自己的特点。本篇打算先介绍PCA，至于他们之间的关系，只能是边学边体会了。PCA以前也叫做Principal factor analysis。1. 问题真实的训练数据总是存在各种各样的问题：1、比如拿到一个汽车的样

2016-06-04 09:31:51 579

原创 About VPU

顾名思义， Movidius 把一个面向机器视觉调优的深度学习神经网络框架缩小到了一个 U 盘大小，就变成了 Fathom。开发者可以直接把 Fathom 插到他们的硬件上，不再需要“借用”机载的处理器或者增加新的处理器。比如用在无人机上，无人机从传感器、摄像头获取的图像传输到 Fathom 计算棒里，而计算棒能以极低的功率和极高的效率（16-20 图像/秒/瓦）向无人机传回元数据（人、物体、障碍

2016-06-03 11:52:02 1130

转载贝叶斯经典文献！

为了要搞论文，我从图书馆借了一堆贝叶斯的书来看，虽然看得不算全面，还是在这里做一个小小的总结：　　茆诗松《贝叶斯统计》 http://book.douban.com/subject/1551888/目前看过的讲贝叶斯方法最通俗易懂的书了张连文《贝叶斯网引论》http://book.douban.com/subject/1974704/以上是我觉得较为好的两

2016-06-03 10:41:10 5466

转载统计学常用概念：T检验、F检验、卡方检验、P值、自由度

1,T检验和F检验的由来一般而言，为了确定从样本(sample)统计结果推论至总体时所犯错的概率，我们会利用统计学家所开发的一些统计方法，进行统计检定。通过把所得到的统计检定值，与统计学家建立了一些随机变量的概率分布(probability distribution)进行比较，我们可以知道在多少%的机会下会得到目前的结果。倘若经比较后发现，出现这结果的机率很少，亦即是说，是在机会很少、很

2016-06-03 09:45:00 108087

转载数据挖掘经典算法总结-朴素贝叶斯分类器

贝叶斯定理（Bayes theorem），是概率论中的一个结果，它跟随机变量的条件概率以及边缘概率分布有关。在有些关于概率的解说中，贝叶斯定理(贝叶斯更新）能够告知我们如何利用新证据修改已有的看法。通常，事件A在事件B(发生)的条件下的概率，与事件B在事件A的条件下的概率是不一样的；然而，这两者是有确定的关系,贝叶斯定理就是这种关系的陈述。贝叶斯定理的陈述贝叶斯定理是关于随机事件A

2016-06-01 17:09:28 3227

slamer的专栏