- 博客(102)
- 收藏
- 关注
RSS订阅转载 AMBARI部署HADOOP集群（4）
通过 Ambari 部署 hadoop 集群1.打开http://192.168.242.181:8080 登陆的用户名/密码是 ： admin/admin2.点击 “LAUNCH INSTALL WIZARD”，开始创建一个集群3.为集群取一个名字4.前面我们建了本地的资源库，这里选择 “Use Local Repository”。删除其...
2019-07-29 11:00:00
190
转载 AMBARI部署HADOOP集群（3）
1.安装ambari-serveryum -y install ambari-server2.ambariserver需要一个数据库存储元数据，默认使用的 Postgres数据库。默认的用户名和密码是：ambari/bigdata 。但是一般情况下，后面还要安装 hive和 Ranger，也需要一个存元数据的数据库，所以使用一个mysql做为数据库。需要为...
2019-07-29 10:48:00
270
转载 ambari部署Hadoop集群（2）
准备本地 repository1. 下载下面的包wget http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.3.0/ambari.repowget http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7....
2019-07-29 10:28:00
198
转载 ambari部署Hadoop集群（1）
本例使用hortonworks提供了 ambari的安装方法，而且还很详细。以下是在centos7上的安装步骤。基础配置：1.修改电脑的主机名hostnamectl set-hostname xxx或者vi /etc/hostname 修改2.编辑文件 /etc/sysconfig/network，添加下面的两行NETWORKING=yes...
2019-07-29 10:05:00
247
转载 小波分析和多尺度几何分析
从傅里叶变换到小波变换，并不是一个完全抽象的东西，可以讲得很形象。小波变换有着明确的物理意义，如果我们从它的提出时所面对的问题看起，可以整理出非常清晰的思路。下面我就按照傅里叶-->短时傅里叶变换-->小波变换的顺序，讲一下为什么会出现小波这个东西、小波究竟是怎样的思路。一、傅里叶变换关于傅里叶变换的基本概念在此我就不再赘述了，默认大家现在正处在理解了傅里叶但还没...
2018-12-04 17:59:00
1878
转载 正则化与矩阵范数
L0范数，L1范数，核范数今天我们聊聊机器学习中出现的非常频繁的问题：过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。这里因为篇幅比较庞大，为了不吓到大家，我将这个五个部分分成两篇博文。知识有限，以下都是我一些浅显的看法，如果理解存在错误，希望大家不吝指正。谢谢。 监督机器学习问题无非就是"minimizeyo...
2018-12-04 12:15:00
1004
转载 设计模式之：创建型设计模式
设计模式之：创建型设计模式（6种）创建型设计模式有： 共6种简单工厂模式（Simple Factory）工厂方法模式（Factory Method）抽象工厂模式（Abstract Factory）建造者模式（Builder）原型模式（Prototype）单例模式（Singleton）简单工厂模式功能：主要用于创建对象。新添加...
2018-11-10 14:29:00
97
转载 设计模式六大原则（详细）
设计模式六大原则转自https://www.cnblogs.com/shijingjing07/p/6227728.html1.设计模式的目的设计模式是为了更好的代码重用性，可读性，可靠性，可维护性。2.常用的六大设计模式1)单一职责原则2)里氏替换原则3)依赖倒转原则4)接口隔离原则5)迪米特法则6)开闭原则3.单一职责原则该原则是针对类来说的，即一个类应该只负...
2018-11-10 14:17:00
86
转载 UML类关系（依赖，关联，聚合，组合，泛化，实现）
转自https://blog.csdn.net/k346k346/article/details/59582926在学习面向对象设计时，类关系涉及依赖、关联、聚合、组合和泛化这五种关系，耦合度依次递增。关于耦合度，可以简单地理解为当一个类发生变更时，对其他类造成的影响程度，影响越小则耦合度越弱，影响越大耦合度越强。下面根据个人理解，尝试讲解这五种类关系。1.依赖（Dep...
2018-11-10 10:56:00
177
转载 SSD详解
This results in a significant improvement in speed for high-accuracy detection（59 FPS with mAP 74.3% on VOC2007 test, vs Faster-rcnn 7 FPS with mAP 73.2% or YOLO 45 FPS with mAP 63.4%）图1 SSD和...
2018-10-26 19:53:00
282
转载 yolov2源码分析
分析过程首先我们从yolo的训练命令开始分析（yolo的源码是用c++写的）：./darknet detector train cfg/voc.data cfg/yolo-voc.cfg darknet19_448.conv.23 从这里我们可以看出yolo主函数main中的参数argv[]在其中对应的值分别是 argv[0] -> darknet argv[1] -> de...
2018-10-26 14:50:00
131
转载 YOLOv3训练自己的数据
1.下载官网的YOLOv3，打开终端输入：git clone https://github.com/pjreddie/darknet下载完成之后，输入：cd darknet，然后再输入：make，make完成之后，下载预先训练的weights文件，通过在终端里输入：wget https://pjreddie.com/media/files/yolov3.weights，然后就可以运行检测...
2018-10-22 13:21:00
260
转载 yolov2-tiny-voc.cfg 参数解析
一、参数解析[net]batch=64 # number of images pushed with a forward pass through the networksubdivisions=8 # 源码中的图片数量int imgs = net.batch * net.subdivisions * ngpus，按subdivisions大小分批进行...
2018-10-20 13:35:00
397
转载 yolo3的改变
转自：https://zhuanlan.zhihu.com/p/35394369YOLOv3的前世今生2013年，R-CNN横空出世，目标检测DL世代大幕拉开。各路豪杰快速迭代，陆续有了SPP，fast，faster版本，至R-FCN，速度与精度齐飞，区域推荐类网络大放异彩。奈何，未达实时检测之基准，难获工业应用之青睐。此时，凭速度之长，网格类检测异军突起，先有YOL...
2018-10-19 15:47:00
136
转载 yolo2详解
转自：https://blog.csdn.net/u014380165/article/details/77961414 YOLOV2要是YOLO的升级版（Better faster）Better这部分细节很多，想要详细了解的话建议还是看源码。很明显，本篇论文是YOLO作者为了改进原有的YOLO算法所写的。YOLO有两个缺点：一个缺点在于定位不准确，另一个缺点在于和...
2018-10-19 15:17:00
452
转载 yolo详解
文章《You Only Look Once: Unified, Real-Time Object Detection》提出方法下面简称YOLO。目前，基于深度学习算法的一系列目标检测算法大致可以分为两大流派：1.两步走（two-stage）算法：先产生候选区域然后再进行CNN分类(RCNN系列)，2.一步走（one-stage）算法：直接对输入图像应用算法并输出类别和相应的定位(YOLO...
2018-10-19 14:06:00
317
转载 faster rcnn 详解
转自：https://zhuanlan.zhihu.com/p/31426458经过R-CNN和Fast RCNN的积淀，Ross B. Girshick在2016年提出了新的Faster RCNN，在结构上，Faster RCNN已经将特征抽取(feature extraction)，proposal提取，bounding box regression(rect refine)，c...
2018-09-26 10:57:00
363
转载 CNN 中， 1X1卷积核到底有什么作用
转自https://blog.csdn.net/u014114990/article/details/50767786从NIN 到Googlenet mrsa net 都是用了这个，为什么呢发现很多网络使用了1X1卷积核，这能起到什么作用呢？另外我一直觉得，1X1卷积核就是对输入的一个比例缩放，因为1X1卷积核只有一个参数，这个核在输入上滑动，就相当于给输入数据乘以一个系数。不知...
2018-09-13 23:18:00
125
转载 LRN
转自https://blog.csdn.net/u011204487/article/details/76026537LRN全称为Local Response Normalization，即局部响应归一化层，具体实现在CAFFE_ROOT/src/caffe/layers/lrn_layer.cpp和同一目录下lrn_layer.cu中。为什么输入数据需要归一化（Norma...
2018-09-12 23:45:00
152
转载 Batch Normalization
Batch Normalization 学习笔记原文地址：http://blog.csdn.net/hjimce/article/details/50866313一、背景意义本篇博文主要讲解2015年深度学习领域，非常值得学习的一篇文献：《Batch Normalization: Accelerating Deep Network Training by Reduci...
2018-09-11 10:42:00
83
转载 白化操作
白化whitening原文地址：http://blog.csdn.net/hjimce/article/details/50864602一、相关理论 白化这个词，可能在深度学习领域比较常遇到，挺起来就是高大上的名词，然而其实白化是一个比PCA稍微高级一点的算法而已，所以如果熟悉PCA，那么其实会发现这是一个非常简单的算法。 白化的目的是去除输入数据的冗余...
2018-09-11 10:35:00
468
转载 LSTM介绍
转自：https://blog.csdn.net/gzj_1101/article/details/79376798LSTM网络long short term memory，即我们所称呼的LSTM，是为了解决长期以来问题而专门设计出来的，所有的RNN都具有一种重复神经网络模块的链式形式。在标准RNN中，这个重复的结构模块只有一个非常简单的结构，例如一个tanh层。LSTM...
2018-09-06 23:02:00
187
转载 Mask-RCNN数据集制作
转自https://blog.csdn.net/pingushen2100/article/details/80513043一.Mask-RCNN数据集 1.1训练Mask-RCNN用的到的文件有三种:原图像(jpg),mask(png),info.yaml 也就是训练的训练图像,掩模(m...
2018-09-01 00:15:00
570
转载 Mask RCNN 原理
转自：https://blog.csdn.net/ghw15221836342/article/details/80084861 https://blog.csdn.net/ghw15221836342/article/details/80084984Mask RCNN 原理：简单说一下Mask R-CNN 是一个两阶段的框架，第一个阶段扫...
2018-08-31 17:35:00
252
转载 ROI align解释
转自：blog.leanote.com/post/afanti.deng@gmail.com/b5f4f526490bROI Align 是在Mask-RCNN这篇论文里提出的一种区域特征聚集方式, 很好地解决了ROI Pooling操作中两次量化造成的区域不匹配(mis-alignment)的问题。实验显示，在检测测任务中将 ROI Pooling 替换为 ROI Align 可以...
2018-08-31 17:26:00
236
转载 caffe 用faster rcnn 训练自己的数据 遇到的问题
1 . 怎么处理那些pyx和.c .h文件 在lib下有一些文件为.pyx文件，遇到不能import可以cython 那个文件，然后把lib文件夹重新make一下。 遇到.c 和 .h一样的操作。2 . 训练自己的数据时最好不要使用pretrained_model， 由于训练的种类不一样，可能出现loss = inf 和loss = nan,-nan的情况。3 . 数...
2018-08-31 10:27:00
105
转载 caffe 配置文件详解
主要是遇坑了，要记录一下。solver算是caffe的核心的核心，它协调着整个模型的运作。caffe程序运行必带的一个参数就是solver配置文件。运行代码一般为# caffe train --solver=*_slover.prototxt在Deep Learning中，往往loss function是非凸的，没有解析解，我们需要通过优化方法来求解。solver的主...
2018-08-30 15:52:00
113
转载 ROI POOLING 介绍
转自 https://blog.csdn.net/gbyy42299/article/details/80352418Faster rcnn的整体构架：训练的大致过程：1、图片先缩放到MxN的尺寸，之后进入vgg16后得到（W/16，H/16）大小的feature map；2、对于得到的大小为（W/16，H/16）的feature map上的每一个位置，都生成三种比例...
2018-08-27 16:42:00
194
转载 对faster rcnn 中rpn层的理解
1.介绍图为faster rcnn的rpn层，接自conv5-3图为faster rcnn 论文中关于RPN层的结构示意图2 关于anchor：一般是在最末层的 feature map 上再用3*3的窗口去卷积特征。当3*3的卷积核滑动到特征图的某一个位置时，以当前滑动窗口中心为中心映射到原图的一个区域(注意 feature map 上的...
2018-08-27 15:38:00
322
转载 什么是ground truth(GT)
转自ground truth的含义ground truth在不同的地方有不同的含义，下面是参考维基百科的解释，ground truth in wikipedia.1、在统计学和机器学习中在机器学习中ground truth表示有监督学习的训练集的分类准确性，用于证明或者推翻某个假设。有监督的机器学习会对训练数据打标记，试想一下如果训练标记错误，那么将会对测试数据的预测产生影响...
2018-08-26 18:49:00
2366
转载 caffe rpn layer 中的 reshape layer
Reshape层：(改变blob的形状，N,C,W,H) layer { name: "reshape" type: "Reshape" bottom: "input" top: "output" reshape_param { sh...
2018-08-26 15:28:00
181
转载 ubuntu16.04下caffe以cpu运行faster rcnn demo
参考https://haoyu.love/blog404.html获取并修改代码首先，我们需要获取源代码：git clone --recursive https://github.com/rbgirshick/py-faster-rcnn.git消除一个编译错误找到下面两个文件$FRCN_ROOT/caffe-fast-rcnn/src/caffe...
2018-08-26 11:48:00
198
转载 windows10 conda2 使用caffe训练训练自己的数据
首先得到了https://blog.csdn.net/gybheroin/article/details/72581318系列博客的帮助。表示感激。关于安装caffe已在之前的博客介绍，自用可行，https://www.cnblogs.com/MY0213/p/9225310.html1.数据源首先使用的数据集为人脸数据集,可在百度云自行下载：链接：https://pan...
2018-08-21 23:08:00
121
转载 python之numpy的基本使用
一、numpy概述numpy（Numerical Python）提供了python对多维数组对象的支持：ndarray，具有矢量运算能力，快速、节省空间。numpy支持高级大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。二、创建ndarray数组ndarray：N维数组对象（矩阵），所有元素必须是相同类型。 ndarray属性：ndim属性，表示维度个数；s...
2018-08-21 21:07:00
77
转载 Casting a Classifier into a Fully Convolutional Network将带全连接的网络做成全卷积网络
详见：http://nbviewer.jupyter.org/github/BVLC/caffe/blob/master/examples/net_surgery.ipynb假设使用标准的caffe参考ImageNet模型“CaffeNet”，将其转换为一个完全的卷积网络，以实现对大输入的高效、密集的推断。该模型生成一个分类图，它涵盖给定的输入大小，而不是单个分类。例如输入为451*...
2018-08-21 17:17:00
164
转载 numpy/arrayobject.h”: No such file or directory
import numpyimport pyximportpyximport.install(setup_args={"script_args":["--compiler=mingw32"], "include_dirs":numpy.get_include()}, reload_support=T...
2018-08-21 11:04:00
961
转载 目标检测算法总结
转自：https://www.cnblogs.com/guoyaohua/p/8994246.html目标检测是很多计算机视觉任务的基础，不论我们需要实现图像与文字的交互还是需要识别精细类别，它都提供了可靠的信息。本文对目标检测进行了整体回顾，第一部分从RCNN开始介绍基于候选区域的目标检测器，包括Fast R-CNN、Faster R-CNN 和 FPN等。第二部分则重点讨论了包括...
2018-08-11 18:05:00
835
转载 RCNN,fast R-CNN,faster R-CNN
转自：https://www.cnblogs.com/skyfsm/p/6806246.htmlobject detection我的理解，就是在给定的图片中精确找到物体所在位置，并标注出物体的类别。object detection要解决的问题就是物体在哪里，是什么这整个流程的问题。然而，这个问题可不是那么容易解决的，物体的尺寸变化范围很大，摆放物体的角度，姿态不定，而且可以出现在图片...
2018-07-28 16:40:00
88
转载 SGD中的重要参数
Learning Rate学习率决定了权值更新的速度，设置得太大会使结果超过最优值，太小会使下降速度过慢。仅靠人为干预调整参数需要不断修改学习率，因此后面3种参数都是基于自适应的思路提出的解决方案。后面3中参数分别为：Weight Decay 权值衰减，Momentum 动量和Learning Rate Decay 学习率衰减。Weight decay在实际应用中...
2018-07-27 16:14:00
1010
转载 tf.nn.conv2d 参数介绍
tf.nn.conv2d是TensorFlow里面实现卷积的函数，参考文档对它的介绍并不是很详细，实际上这是搭建卷积神经网络比较核心的一个方法，非常重要tf.nn.conv2d(input, filter, strides, padding, use_cudnn_on_gpu=None, name=None)除去name参数用以指定该操作的name，与方法有关的一共五个参数：...
2018-07-25 18:12:00
107
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人