jyli2_11-CSDN博客

转载 ICCV 2015 揭开微软152层神经网络的面纱

转自https://mp.weixin.qq.com/s__biz=MzAwMjM3MTc5OA==&mid=402156285&idx=1&sn=13275b8f4ec46c901290c66c6c0ffa28&utm_source=tuicool&utm_medium=referral这几天，关于 ICCV 2015 有一个振奋人心的消息——“微软亚

2017-07-29 20:00:16 831

原创关于残差网络Resnet的理解

Deep Residual Learning for Image Recognition 这篇论文已很有名参考了大家阅读后的看法http://www.jianshu.com/p/e58437f39f65，也想聊聊自己阅读后的理解网络深度是影响深度卷积神经网络性能的一大因素，但是研究者发现当网络不断加深时，训练的结果并不好。这不是因为过拟合，因为过拟合的话应该是

2017-07-25 20:42:45 5879 1

转载 tensorflow object_detection API使用

作者：何之源链接：https://www.zhihu.com/question/61173908/answer/185074029来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。1. 安装或升级protoc首先需要安装或升级protoc，不然在后面会无法编译。安装/升级的方法是去protobuf的Release界面：google/pro

2017-07-19 15:01:36 2857

原创 tensorflow object_dection API错误处理

Ubuntu下使用tensorflow object-detection APIhttps://github.com/tensorflow/models/tree/master/object_detectionhttps://github.com/tensorflow/models/issues/1834https://stackoverflow.com/questions/253

2017-07-18 19:32:38 3889 4

原创 caffe运行中显示梯度信息

为了显示各层的梯度变化，阅读了此篇博客http://blog.csdn.net/yihaizhiyan/article/details/44159063但是新版caffe solver.cpp中做了优化，所以函数添加位置有变，在此记录下修改目录 caffe/src/caffe/solver.cpp开头修改如下：#include #include #include

2017-07-11 17:30:51 1458 2

原创正则

L2L1elastic net（L1+L2）max norm regularizationdropout

2017-07-10 21:43:40 239

原创 Layer Normalisation

图片来自https://www.zhihu.com/question/48820040中的回答后续补充

2017-07-09 19:29:14 310

转载 Tensorflow的Batch Normalization

转自 http://www.jianshu.com/p/0312e04e4e83tensorflow中关于BN（Batch Normalization）的函数主要有两个，分别是：tf.nn.momentstf.nn.batch_normalization关于这两个函数，官方API中有详细的说明，具体的细节可以点链接查看，关于BN的介绍可以参考这篇论文，我来说说自己的理解。不

2017-07-09 19:06:22 400

转载 ReLu(Rectified Linear Units)激活函数

转自http://www.cnblogs.com/neopenx/p/4453161.html起源：传统激活函数、脑神经元激活频率研究、稀疏激活性传统Sigmoid系激活函数传统神经网络中最常用的两个激活函数，Sigmoid系（Logistic-Sigmoid、Tanh-Sigmoid）被视为神经网络的核心所在。从数学上来看，非线性的Sigmoid函数对中央区的信号增益较大，对

2017-07-08 11:21:36 747

原创关于Batch Normalization（批归一化）的理解

近期将Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift读了两遍，参考了几篇博客，现将自己的理解总结如下。它的好处：最主要的减少梯度消失，加快收敛速度。然后允许更大的学习率、不需要dropout、减少L2正则、减少扭转图像（其实都是第一个好处带来的）。

2017-07-06 20:48:25 6434 1

转载 Batch Normalization

2017-07-06 20:02:05 362

转载批归一化

Batch Normalization 学习笔记原文地址：http://blog.csdn.net/hjimce/article/details/50866313作者：hjimce一、背景意义本篇博文主要讲解2015年深度学习领域，非常值得学习的一篇文献：《Batch Normalization: Accelerating Deep Network Training by

2017-07-05 10:14:16 2266

原创 TensorFlow 报错 failed call to cuDevicePrimaryCtxRetain: CUDA_ERROR_INVALID_DEVICE

今天使用python virtualenv安装TensorFlow gpu版，一直报错各种配置版本按官网来的https://www.tensorflow.org/cuda8.0 cudnn5.1错误如下2017-06-16 13:53:53.632070: W tensorflow/stream_executor/cuda/cuda_driver.cc:523] A non-pri

2017-06-16 14:39:37 19833 3

原创 virtualenv内安装TensorFlow

sudo pip install virtualenv #使用pip或pip3都可以，没啥影响#创建环境，选择你想要的python版本（前提是你的电脑上已经安装好了）virtualenv --system-site-packages --python=python3.5 ~/tensorflow#激活环境cd ~/tensorflowsource bin/activate

2017-06-16 09:25:16 1464

转载 Centos 6.4 安装Python 2.7 python-pip

http://www.cnblogs.com/balaamwe/p/3480430.html1. 准备工作下载源码包wget http://python.org/ftp/python/2.7.3/Python-2.7.3.tar.bz2查看是否安装make工具~#rpm -qa|grep makeautomake-1.11.1-4.el6.noarchmake-

2017-06-11 19:40:42 327

原创本地源方式安装cdh

学校网不太稳定，因此采用本地源方法安装的。笔记是去年整理的了，相应软件版本可能不是很新。Master 192.168.101.133Slave 192.168.101.132 安装准备各个节点都需要配置1、 hosts文件修改 Centos 下修改 /etc/hosts windows下也需要修改hosts路径：C:\Windows\Syst

2017-06-11 14:46:45 314

转载在Linux CentOS 6.x上安装Python 2.7.9

转自http://www.cnblogs.com/dudu/p/4294238.htmlCentOS 6.6自带的是Python 2.6.6，而编译llvm需要Python 2.7以上。checking for python... /usr/bin/pythonchecking for python >= 2.7... not foundconfigure: error: fo

2017-06-11 14:39:40 369

原创 opencv3.1＋cuda8.0+caffe报错

为让TensorFlow和caffe共存将cuda换为8.0 在安装OpenCV时提示如下错误：/home/usrname/opencv-3.1.0/modules/cudalegacy/src/graphcuts.cpp:120:54: error: 'NppiGraphcutState' has not been declaredtypedef NppStatu

2017-06-08 10:55:35 734

转载 Deep learning：五十一(CNN的反向求导及练习)

转自：http://www.cnblogs.com/tornadomeet/p/3468450.html前言：　　CNN作为DL中最成功的模型之一，有必要对其更进一步研究它。虽然在前面的博文Stacked CNN简单介绍中有大概介绍过CNN的使用，不过那是有个前提的：CNN中的参数必须已提前学习好。而本文的主要目的是介绍CNN参数在使用bp算法时该怎么训练，毕竟CNN中有卷积层和下采样层，

2017-05-30 16:17:23 651

转载 padding

Convolution Arithmetic为了简化情况，假设输入(input)、特征块(kernel)、补零(padding)以及步长(strides)在不同轴上的长度均相等，分别为i、k、p、s。No zero padding, unit strideso=i−k+1,其中s=1,p=0Zero padding, unit strideso=i−

2017-05-27 21:46:45 2013

转载 XGBoost：参数解释

转自http://blog.csdn.net/zc02051126/article/details/46711047XGBoost参数在运行XGboost之前，必须设置三种类型成熟：general parameters，booster parameters和task parameters：General parameters：参数控制在提升（boosting）过程中使用哪种boos

2017-05-25 20:33:54 354

原创 win10环境 python添加xgboost包

最近参加比赛，发现用这个包的很多，效果也不错。所以想安装下来使用下。网上大多数博客写的还是下载下来以后找到windows文件夹。。。但官网最新版本已经没有这个文件夹了，所以自己总结了一下。准备：python安装我用的是anaconda安装包git安装网上教程很多，大家自己参考哈

2017-05-25 17:05:08 619

转载 Spark的性能调优

最近老是遇见spark调优的一些问题，转载这篇博客学习。转自http://www.raychase.net/3546下面这些关于Spark的性能调优项，有的是来自官方的，有的是来自别的的工程师，有的则是我自己总结的。基本概念和原则首先，要搞清楚Spark的几个基本概念和原则，否则系统的性能调优无从谈起：每一台host上面可以并行N个worker，每一个worke

2017-05-25 10:34:31 278

原创 java.lang.OutOfMemoryError: unable to create new native thread

今天spark 提交发现这个问题java.lang.OutOfMemoryError: unable to create new native thread以前没有。后来查看发现是linux允许进程数少，不是内存资源不足，而最近实验室做数据库的小伙伴开了很多进程，我再提交就这样了。修改linux允许最大进程数查看用户最大进程数 ulimit -usudo vi /etc/sec

2017-05-25 09:25:55 383

转载 svm

转自 http://www.cnblogs.com/wangxiu/p/5663140.html在Lagrange乘子法中，介绍了如何构建及如何使用对偶函数，对目标问题进行求解。这一章利用L乘子法对SVM进行推导。SVM 即支持向量机，是通过求解超平面进行分类的一种算法。所谓的支持向量，是在最大间隔边界上的向量。问题来源：　如何求解上图中红色线的参数：W b

2017-05-24 18:33:21 389

转载拉格朗日乘子法

转自http://www.cnblogs.com/wangxiu/p/5653040.html拉格朗日乘子法是解决极值问题的方法。　　本方法是计算多元函数在约束条件下的极值问题的方法。1、多元函数与约束问题　　如下图所示，f(x,y)为多元函数，g(x,y)=c为约束条件。目的是计算在约束条件下多元函数的极值。　　虚线为f(x,y)=d d取不同的值时，将原始图像投

2017-05-24 18:32:15 4198 1

转载 SVM和SoftMax的原理区别对比

2017-05-24 16:48:24 928

转载 PANDAS 数据合并 merge/join

merge转自http://blog.csdn.net/weixin_37226516/article/details/64137043pandas的merge方法提供了一种类似于SQL的内存链接操作，官网文档提到它的性能会比其他开源语言的数据操作（例如R）要高效。和SQL语句的对比可以看这里merge的参数on：列名，join用来对齐的那一列的名字，用到这个参数的时候

2017-05-24 10:33:35 583

原创 caffe安装

最近caffe更新软件坏了两次，然后和师兄重新搭建了两遍。笔记留下，以备不时之需。

2017-05-22 20:22:45 909

转载 xgboost

转载http://blog.csdn.net/a8198252941.序　　距离上一次编辑将近10个月，幸得爱可可老师（微博）推荐，访问量陡增。最近毕业论文与xgboost相关，于是重新写一下这篇文章。　　关于xgboost的原理网络上的资源很少，大多数还停留在应用层面，本文通过学习陈天奇博士的PPT、论文、一些网络资源，希望对xgboost原理进行深入理解。（笔者在最后的参考

2017-05-22 20:20:13 473

转载 GDBT

转载http://blog.csdn.net/a8198252941.模型提升方法实际采用加法模型（即基函数的线性组合）与前向分布算法。以决策树为基函数的提升方法称为提升树（boosting tree)。对分类问题决策树是二叉分类树，对回归问题决策树是二叉决策树。提升树模型可以表示为决策树的加法模型：其中，表示决策树；为决策树的参数；M为树的个数2.学习过程回归问题提升树使

2017-05-22 20:18:53 921

原创 IDEA运行spark MLlib程序遇到java.lang.OutOfMemoryError：GC overhead limit exceeded

IDEA运行spark MLlib程序遇到java.lang.OutOfMemoryError：GC overhead limit exceeded查看了下别的博客，发现是在导入数据时IEDA内存不够。修改IEDA内存设置，bin目录下idea64.exe.vmoptions和idea.exe.vmoptions分别对应64位和32位-Xms128m-Xmx750m-XX:Ma

2017-03-08 11:11:04 645

转载 pom.xml详解

转载自pom.xml详解 - adeyi的专栏 - 博客频道 - CSDN.NET http://blog.csdn.net/adeyi/article/details/17259479一、什么是POMProject Object Model，项目对象模型。通过xml格式保存的pom.xml文件。作用类似ant的build.xml文件，功能更强大。该文件用于管理：源代码、

2017-03-04 18:47:58 432

原创 windows下安装scala

windows下安装scala十分简单，先配置好Java，推荐1.7以上版本。在官网下载scalaThe Scala Programming Language http://www.scala-lang.org/我下载的是msi版本，这个版本不用配置环境变量，直接下一步一直下去即可。安完后在开始命令栏cmd回车，进入命令模式，scala -version 查看。我

2016-06-12 14:28:07 481

原创虚拟机中搭建hadoop

Hadoop搭建过程一、安装准备虚拟机：CentOS-6.5-x86_64-bin-DVD1.isoJava：jdk-7u79-linux-x64.gzHadoop：hadoop-2.6.0安装过程为先在一台虚拟机中配置好时钟、安好jdk、安装并配置好hadoop再进行克隆操作，之后再在master和slave上分别进行其它配置。二、安装过程1、安装虚拟机下载好的压

2016-05-09 14:24:51 2982

jyli2_11的博客