ZhikangFu的专栏

正则化（Regularization）今天看了一篇文章，感觉还不错。原文：https://blog.csdn.net/jinping_shi/article/details/52433975机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作ℓ1ℓ1-norm和ℓ2ℓ2-norm，中文称作L1正则化和L2正则化，或者L1范数和L2范数。L1正则化和...

转自 http://blog.leanote.com/post/afanti.deng@gmail.com/b5f4f526490bROI Align 是在Mask-RCNN这篇论文里提出的一种区域特征聚集方式, 很好地解决了ROI Pooling操作中两次量化造成的区域不匹配(mis-alignment)的问题。实验显示，在检测测任务中将 ROI Pooling 替换为 ROI Align 可以...

1:函数原型：cblas_sgemm(order, transA, transB, M,N,K, ALPHA,A, LDA, B, LDB, BETA, C,LDC);函数作用：C=alpha*A*B+beta*C alpha =1,beta =0 的情况下，等于两个矩阵相成。第一参数 oreder 候选值 有ClasRowMajow 和ClasColMaj

This demo shows the method proposed in "Zhou, Bolei, et al. "Learning Deep Features for Discriminative Localization." arXiv preprint arXiv:1512.04150 (2015)".The proposed method can automatically

1. 找到run-->Edit configurations2. 右边，configuration选项卡，展开environment选项3. 点击environment variables后面的省略号，添加环境变量name:PYTHONPATH value:/usr/local/lib/python2.7/site-packages/:$PYTHONPATH

转自http://blog.csdn.net/rango_lhl/article/details/50542887axis=0表述列 axis=1表述行如下面例子：In [52]: arr=np.arange(12).reshape((3,4))In [53]:arrOut[53]:array([[ 0, 1, 2, 3], [ 4, 5

caffe-ssd里面有normalization的实现，包括.hpp，.cpp，.cu。其实现的是L2-normalization L2正则化的公式是：  现在来看caffe的代码实现。 首先是caffe.proto，这里面定义了normalization_parameter message NormalizeParameter { optional bool acros

转载 http://blog.csdn.net/langb2014/article/details/50986678先从caffe中使用的函数入手看看：[cpp] view plain copy #include   #include     #include     #include "caffe/common.

We assume you already know the basic knowledge of deep learning, and here we will present the implementation details (tricks or tips) in Deep Neural Networks, especially CNN for image-related tasks, m

在caffe的训练过程中，大家难免想图形化自己的训练数据，以便更好的展示结果。如果自己写代码记录训练过程的数据，那就太麻烦了，caffe中其实已经自带了这样的小工具 caffe-master/tools/extra/parse_log.sh  caffe-master/tools/extra/extract_seconds.py和 caffe-master/tools/extra/plot_tra

安装Zmodem的实现brew install lrzsz创建脚本将下面两个脚本创建到/usr/local/bin目录iterm2-send-zmodem.sh#!/bin/bash# Author: Matt Mastracci (matthew@mastracci.com)# AppleScript from http://stackoverflow.c

转自：http://www.jianshu.com/p/9dc9f41f0b29Recurrent Neural Networks人类并不是每时每刻都从一片空白的大脑开始他们的思考。在你阅读这篇文章时候，你都是基于自己已经拥有的对先前所见词的理解来推断当前词的真实含义。我们不会将所有的东西都全部丢弃，然后用空白的大脑进行思考。我们的思想拥有持久性。传统的神经网络并不能做到这点，看起来也

1:motivation作者认为：网络训练过程中参数不断改变导致后续每一层输入的分布也发生变化，而学习的过程又要使每一层适应输入的分布，因此我们不得不降低学习率、小心地初始化。作者将分布发生变化称之为 internal covariate shift。对于深度学习这种包含很多隐层的网络结构，在训练过程中，因为各层参数老在变，所以每个隐层都会面临covariate shift的问题，也就

$ ./build/tools/caffe.bin test -model=examples/mnist/lenet_train_test.prototxt -weights=examples/mnist/lenet_iter_10000.caffemodel -gpu=0

caffe的各种数据层在caffe.proto文件中有定义。通过对定义的caffe.proto文件进行编译，产生支持各种层操作的c++代码。后面将会详细解读caffe.proto文件（在caffe里就是当做一个自动代码生成工具来用）。本文主要介绍caffe可以读入数据的各种格式，方便后面采用caffe训练自己的数据数据的来源主要有以下几种：（1）高效的数据库（Level

今天调用训练好的模型进行测试，发现测试的Batch都只有50，并且似乎找不到在prototxt里面修改，所以怀疑是默认值，如果你要测试大量的数据，一方面是在输入的测试模型prototxt中的TEST中修改batch_size，这样比如原来的batch_size是20，那么测试50个Batch就是测试了1000张images.但是我有20000张images可以测试．所以要到caffe源码里面修改这

在caffe中，如果使用的是c++接口，均值文件默认为.binaryproto格式，而如果使用的是Python接口，均值文件默认的是numpy的.npy格式，在工作中有时需要将两者进行互相转换，具体方式如下:binaryproto -> npyimport numpy as npimport caffeimport sysblob = caffe.proto.caffe_p

http://www.jiqizhixin.com/article/1772这篇论文的作者是来自美国海军研究实验室的 Leslie N. Smith 和来自美国马里兰大学的 Nicholay Topin，他们在本论文中总结了深度卷积神经网络的 14 种设计模式；其中包括：1. 架构结构遵循应用；2. 扩增路径；3. 努力实现简洁；4. 增加对称性；5. 金字塔形状；6. 用

转载于：http://blog.csdn.net/heyongluoyao8/article/details/48636251循环神经网络(RNN, Recurrent Neural Networks)介绍   这篇文章很多内容是参考：http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-

因为前一篇描述的是layer层，其实应该先学习工厂模式，最早我也学习过了23中模式设计，不熟悉这个模式的可以看一下下面这段代码。 ?1234567891011121314151617181920