机器学习中正则化项L1和L2的直观理解

正则化(Regularization) 今天看了一篇文章,感觉还不错。原文:https://blog.csdn.net/jinping_shi/article/details/52433975 机器学习中几乎都可以看到损失函数后面会添加一个额外项,常用的额外项一般有两种,一般英文称作ℓ1ℓ1-...

2018-07-18 11:17:29

阅读数 71

评论数 0

详解 ROI Align 的基本原理和实现细节

转自 http://blog.leanote.com/post/afanti.deng@gmail.com/b5f4f526490bROI Align 是在Mask-RCNN这篇论文里提出的一种区域特征聚集方式, 很好地解决了ROI Pooling操作中两次量化造成的区域不匹配(mis-align...

2018-07-11 16:59:13

阅读数 104

评论数 0

cblas_sgemm 源码讲解

1:函数原型: cblas_sgemm(order, transA, transB, M,N,K, ALPHA,A, LDA, B, LDB, BETA, C,LDC); 函数作用:C=alpha*A*B+beta*C  alpha =1,beta =0 的情况下,等于两个矩阵相成。 第一参数 ...

2017-10-17 11:15:42

阅读数 3781

评论数 3

class_active_maps

This demo shows the method proposed in "Zhou, Bolei, et al. "Learning Deep Features for Discriminative Localization." arXiv preprint a...

2017-10-12 11:44:25

阅读数 263

评论数 0

Mac 上pycharm 添加opencv

1. 找到run-->Edit configurations 2. 右边,configuration选项卡,展开environment选项 3. 点击environment variables后面的省略号,添加环境变量 name:PYTHONPATH value:/usr...

2017-09-14 10:09:53

阅读数 1436

评论数 0

Python中的axis=0,axis=1

转自 http://blog.csdn.net/rango_lhl/article/details/50542887 axis=0表述列  axis=1表述行 如下面例子: In [52]: arr=np.arange(12).reshape((3,4)) In [53]:a...

2017-07-31 18:35:37

阅读数 861

评论数 0

caffe中的normalization_layer

caffe-ssd里面有normalization的实现,包括.hpp,.cpp,.cu。其实现的是L2-normalization  L2正则化的公式是:    现在来看caffe的代码实现。  首先是caffe.proto,这里面定义了normalization_parameter  ...

2017-06-13 11:43:08

阅读数 1752

评论数 0

梳理caffe代码math_functions(一)

转载 http://blog.csdn.net/langb2014/article/details/50986678 先从caffe中使用的函数入手看看: [cpp] view plain copy   #include    #inclu...

2017-02-20 17:29:20

阅读数 468

评论数 0

深度学习你不可不知的技巧(上)

We assume you already know the basic knowledge of deep learning, and here we will present the implementation details (tricks or tips) in Deep Neural ...

2016-12-19 17:43:15

阅读数 1115

评论数 0

caffe 画出train与loss曲线

在caffe的训练过程中,大家难免想图形化自己的训练数据,以便更好的展示结果。如果自己写代码记录训练过程的数据,那就太麻烦了,caffe中其实已经自带了这样的小工具 caffe-master/tools/extra/parse_log.sh  caffe-master/tools/extra/ex...

2016-12-12 15:15:28

阅读数 1298

评论数 0

在iTerm2中使用Zmodem传输文件

安装Zmodem的实现 brew install lrzsz 创建脚本 将下面两个脚本创建到/usr/local/bin目录 iterm2-send-zmodem.sh #!/bin/bash # Author: Matt Mastracci (matthew@mastr...

2016-12-02 16:16:04

阅读数 1322

评论数 0

理解 LSTM 网络

转自:http://www.jianshu.com/p/9dc9f41f0b29 Recurrent Neural Networks 人类并不是每时每刻都从一片空白的大脑开始他们的思考。在你阅读这篇文章时候,你都是基于自己已经拥有的对先前所见词的理解来推断当前词的真实含义。我们不会将所有的东西...

2016-11-30 11:06:06

阅读数 306

评论数 0

Batch Normalization 的原理解读

1:motivation 作者认为:网络训练过程中参数不断改变导致后续每一层输入的分布也发生变化,而学习的过程又要使每一层适应输入的分布,因此我们不得不降低 学习率、小心地初始化。作者将分布发生变化称之为 internal covariate shift。对于深度学习这种包含很多隐层的网络结构,...

2016-11-29 14:13:12

阅读数 10403

评论数 4

Caffe 命令解析

$ ./build/tools/caffe.bin test -model=examples/mnist/lenet_train_test.prototxt -weights=examples/mnist/lenet_iter_10000.caffemodel -gpu=0

2016-11-25 09:41:36

阅读数 2673

评论数 0

Caffe学习数据层及参数设置

caffe的各种数据层在caffe.proto文件中有定义。通过对定义的caffe.proto文件进行编译,产生支持各种层操作的c++代码。后面将会详细解读caffe.proto文件(在caffe里就是当做一个自动代码生成工具来用)。 本文主要介绍caffe可以读入数据的各种格式,方便后...

2016-11-23 17:53:31

阅读数 2105

评论数 0

caffe测试已经训练好的模型的迭代次数修改

今天调用训练好的模型进行测试,发现测试的Batch都只有50,并且似乎找不到在prototxt里面修改,所以怀疑是默认值,如果你要测试大量的数据,一方面是在输入的测试模型prototxt中的TEST中修改batch_size,这样比如原来的batch_size是20,那么测试50个Batch就是测...

2016-11-23 17:50:17

阅读数 3377

评论数 0

caffe binaryproto 与 npy相互转换

在caffe中,如果使用的是c++接口,均值文件默认为.binaryproto格式,而如果使用的是Python接口,均值文件默认的是numpy的.npy格式,在工作中有时需要将两者进行互相转换,具体方式如下: binaryproto -> npy import numpy as ...

2016-11-21 16:01:58

阅读数 694

评论数 0

重磅论文:解析深度卷积神经网络的14种设计模式

 http://www.jiqizhixin.com/article/1772 这篇论文的作者是来自美国海军研究实验室的 Leslie N. Smith 和来自美国马里兰大学的 Nicholay Topin,他们在本论文中总结了深度卷积神经网络的 14 种设计模式;其中包括:1. ...

2016-11-14 14:13:56

阅读数 5978

评论数 0

循环神经网络(RNN, Recurrent Neural Networks)介绍

转载于:  http://blog.csdn.net/heyongluoyao8/article/details/48636251 循环神经网络(RNN, Recurrent Neural Networks)介绍    这篇文章很多内容是参考:http://www.wildml.com...

2016-11-14 11:21:51

阅读数 585

评论数 0

caffe代码layer_factory梳理分析

因为前一篇描述的是layer层,其实应该先学习工厂模式,最早我也学习过了23中模式设计,不熟悉这个模式的可以看一下下面这段代码。   ? 1 2 3 4 5 6 7 8 9 10 11 12...

2016-11-10 16:57:26

阅读数 688

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭