u010532666的博客

原创 ubuntu19.10+nvidia-440+cuda-10.2+cudnn-7.7安装

该方案为笔者尝试安装正确后的经验总结，参考文档：Ubuntu安装和卸载CUDA和CUDNNUbuntu安装gcc g++ 7NVIDIA CUDA Installation Guide for LinuxUbuntu 18.04 gcc降级为4.8版本ubuntu18.04 + CUDA10 + CUDNN7 deb安装一、安装包准备首先下载所需安装包，驱动、CUDA-10.2、...

转载 Sizeof与Strlen的区别与联系

一、sizeof    sizeof(...)是运算符，在头文件中typedef为unsigned int，其值在编译时即计算好了，参数可以是数组、指针、类型、对象、函数等。    它的功能是：获得保证能容纳实现所建立的最大对象的字节大小。    由于在编译时计算，因此sizeof不能用来返回动态分配的内存空间的大小。实际上，用sizeof来返回类型以及静态分配的对象、结构或数组所占的空间，...

转载 softmax增强： A-SoftMax. SphereFace: Deep Hypersphere Embedding for Face Recognition

本文转载自：https://blog.csdn.net/shaoxiaohu1/article/details/78885080参考文献： Liu W, Wen Y, Yu Z, et al. SphereFace: Deep Hypersphere Embedding for Face Recognition[J]. arXiv preprint arXiv:1704.08063, 2017...

转载 softmax变种或增强1：Large-Margin Softmax Loss for Convolutional Neural Networks

本博文转载自：https://blog.csdn.net/shaoxiaohu1/article/details/53325945参考文献： Liu W, Wen Y, Yu Z, et al. Large-Margin Softmax Loss for Convolutional Neural Networks[C]//Proceedings of The 33rd International ...

转载 卷积网络的进化史

这篇文章是对卷积网络进化过程的详细描述，非常的全面，思路清晰，转自https://tracholar.github.io/machine-learning/2017/07/23/cnn-evalution.html， 留作学习资料学习卷积网络有一段时间了，对卷积网络的演变过程中的一些基本思路有一个大致的理解， 于是总结出了这篇文章，一方面是加深自己的理解，一方面也希望对学习卷积网络的读者有所帮助。...

转载 卷积神经网络中卷积、反卷积、池化解析

感谢博主：https://blog.csdn.net/gqixf/article/details/785495451.前言   传统的CNN网络只能给出图像的LABLE，但是在很多情况下需要对识别的物体进行分割实现end to end，然后FCN出现了，给物体分割提供了一个非常重要的解决思路，其核心就是卷积与反卷积，所以这里就详细解释卷积与反卷积。    对于1维的卷积，公式（离散）与计算过程（连...

转载 图像数据转换成db（leveldb/lmdb)文件

在深度学习的实际应用中，我们经常用到的原始数据是图片文件，如jpg,jpeg,png,tif等格式的，而且有可能图片的大小还不一致。而在caffe中经常使用的数据类型是lmdb或leveldb，因此就产生了这样的一个问题：如何从原始图片文件转换成caffe中能够运行的db（leveldb/lmdb)文件？在caffe中，作者为我们提供了这样一个文件：convert_imageset.cpp，存放在...

转载 跨平台Caffe及I/O模型与并行方案（五）

5. 参数服务器5.1 背景介绍    在机器学习和深度学习领域，单机已经解决不了目前快速增长的数据和参数了，分布式的优化已经成了一种先决条件。现实中，训练数据的数量可能达到1TB到1PB之间，而训练过程中的参数可能会达到109到1012。而往往这些模型的参数需要被所有的worker节点频繁的访问，这就会带来很多问题和挑战： 访问巨量的参数，需要大量的网络带宽支持。 机器学习算法具有连续性，只有上...

转载 跨平台Caffe及I/O模型与并行方案（四）

4. Caffe多GPU并行方案4.1 多GPU并行概述    得益于训练数据的爆炸性增长和计算性能的巨大提升，深度学习算法能够学习数据的分布和分层的特征表示，从而更好地解决模式分析和分类等任务。面对巨大的数据规模和复杂的深度学习模型，目前主流的单GPU训练方式已经无法满足计算性能和存储空间的要求，多GPU模型训练成为了发展趋势。本小节主要介绍深度学习系统的多GPU并行模式与训练方法，概述Caff...

转载 跨平台Caffe及I/O模型与并行方案（三）

3. Caffe I/O模型    Caffe支持GPU加速模式，这种异构程序设计对于I/O模型的效率有更高的要求。Caffe通过引入多重预缓冲来弥补内存与显存带宽的较大差距，使用主存管理自动机控制内存与显存的数据传输与同步，从而达到隐藏传输时间、提高计算资源利用率以及保持数据一致性的目标。Caffe还支持单机多GPU的数据并行，多线程I/O模型为其并行方案提供支持。本章将从原理探究与框架分析两个...

转载 跨平台Caffe及I/O模型与并行方案（二）

2. 跨平台Caffe    Caffe繁杂的依赖项增加了安装使用的难度，也限制了系统的可移植性。为了解决Caffe跨平台的问题，本章首先分析Caffe依赖库，随后提出一种第三方库方案，最后介绍一个轻量级的跨平台Caffe分支项目——Dragon Caffe[2]。2.1 依赖库分析    为了裁剪臃肿的依赖库，抽取、预编译必要的依赖库，我们首先需要分析Caffe的依赖库。ProtoBuffer ...

转载 跨平台Caffe及I/O模型与并行方案（一）兼容

摘要Caffe(Convolutional Architecture for Fast Feature Embedding)是一个清晰，模块化，速度快的深度学习框架。“跨平台Caffe及I/O模型与并行方案”系列文章针对Caffe依赖包繁杂，可移植性差的缺点，介绍一种采用第三方库的跨平台Caffe方案，该方案通具有量身裁剪，安装快速，跨Windows/Linux平台等优点。系列文章还分析了深度学习...

转载 余弦距离、欧氏距离和杰卡德相似性度量的对比分析

余弦距离、欧氏距离和杰卡德相似性度量的对比分析1、余弦距离 余弦距离，也称为余弦相似度，是用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小的度量。 向量，是多维空间中有方向的线段，如果两个向量的方向一致，即夹角接近零，那么这两个向量就相近。而要确定两个向量方向是否一致，这就要用到余弦定理计算向量的夹角。 余弦定理描述了三角形中任何一个夹角和三个边的关系。给定三角形的三条边，可以使...

原创 论文阅读：Deep Metric Learning via Lifted Structured Feature Embedding

首先，介绍一下embedding的概念（该思想参考自知乎）：Embedding在数学上表示一个maping： ， 也就是一个function。其中该函数满足两个性质：injective （单射的）：就是我们所说的单射函数，每个Y只有唯一的X对应;structure-preserving（结构保存）：比如在X所属的空间上 ，那么映射后在Y所属空间上同理 。那么对于word embedding,...

转载 控制理论PID的理解

PID的理解        关于理解PID控制算法最典型的一个例子就是一个漏水的水缸的问题。网上有很多讲解PID的帖子会讲到这个例子。这里我也把我自己对于PID的理解用这个例子阐述一遍。        有个漏水的水缸，而且漏水的速度还不是恒定的。然后我们还有个水桶，我们可以控制往水缸里面加水或者从水缸里面舀水出来。另外我们可以检测水平面。现在我们的目的就是要控制水平面稳定在我们想要的任何一个平面上...

转载 TensorFlow中CNN的两种padding方式“SAME”和“VALID”

转载请标明出处：http://blog.csdn.net/wuzqchom/article/details/74785643在用tensorflow写CNN的时候，调用卷积核api的时候，会有填padding方式的参数，找到源码中的函数定义如下（max pooling也是一样）：def conv2d(input, filter, strides, padding, use_cudnn_on_gpu...

原创 win10+VS2015+cuda+cudnn安装与配置Caffe

需要使用的工具：Git: 可直接使用GitHub提供的工具GitHubDesktopVisual Studio 2015: 可以使用免费的社区版，安装的时候一定要勾选开发组件，确保C:\Program Files (x86)\Microsoft Visual Studio 14.0\VC\bin\amd64下有cl.exe程序,否则没有安装完全，后面会出错。Python: 下载64位版本，建议使用...

原创 Ubuntu14.04搭建Caffe(仅CPU）详解教程

这篇文章主要介绍了Ubuntu14.04在系统平台（未使用anaconda环境管理）搭建CPU版Caffe，无GPU，详解教程,操作系统是Ubuntu 14.04，本文分步骤给大家介绍的非常详细，具有参考借鉴价值，需要的朋友可以参考下.操作系统: Ubuntu 14.04PYTHON版本：2.7，使用python3会有各种包依赖问题是否使用PYTHON API: 是, 目标是安装后CAFFE能作为...

转载 图像检测4-fast-rcnn-Proceedings of the IEEE International Conference on Computer Vision.

转载 图像检测3-OverFeat-Integrated Recognition,Localization,and Detection using Convolutional Networks

基于Overfeat的图片分类、定位、检测原文地址：http://blog.csdn.net/hjimce/article/details/50187881作者：hjimce一、相关理论本篇博文主要讲解来自2014年ICLR的经典图片分类、定位物体检测overfeat算法：《OverFeat: Integrated Recognition, Localizati

转载 图像检测2-SPPNet-Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition

本文参考了前人的博客，觉得写的已经很好啦，借鉴过来学习一下。 这里参考的链接如下： http://blog.csdn.net/xjz18298268521/article/details/52681966论文： 《Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition》 本篇博文

转载 图像检测1-R-CNN-Rich featurehierarchies for accurate object detection and semantic segmentation

论文：《Rich featurehierarchies for accurate object detection and semantic segmentation》这里我也是借鉴了前辈的博客：http://blog.csdn.net/xjz18298268521/article/details/52412991，在此基础上我引入了另一篇关于selective research原理的

转载 图像分类阅读4-GoogLeNet-Going Deeper with Convolutions

本文转载自：http://blog.csdn.net/shuzfan/article/details/50738394本文介绍的是著名的网络结构GoogLeNet及其延伸版本，目的是试图领会其中的思想而不是单纯关注结构。GoogLeNet Incepetion V1MotivationArchitectural DetailsGoogLeNetConclus

转载 非极大抑制（Non-Maximum Suppression）和Hard negative mining

一、Nms主要目的          在物体检测非极大抑制应用十分广泛，主要目的是为了消除多余的框，找到最佳的物体检测的位置。如上图中：虽然几个框都检测到了人脸，但是我不需要这么多的框，我需要找到一个最能表达人脸的框。下图汽车检测也是同样的原理。非极大值抑制因为一会儿讲RCNN算法，会从一张图片中找出n多个可能是物体的矩形框，然后为每个矩形框

原创 图像识别3-VGGNet-very deep convolutional Network for large-scale image recognition

文章重点：1.使用更小的3*3的卷积核与更深的网络（16-19层）获得了比ZFNet和AlexNet更好的效果，并且作者测试了不同的数据集证明了该网络具有很好的泛化性，在其他的测试集上也表现出了很好的性能。2.作者对比了5种深度的卷积网络证明深度越深，在训练数据越大的情况下效果越好。3.使用了多尺度缩放数据增强技术，证明效果比单尺度数据增强效果提高接近%1.4.网络的配置：

原创 图像文章阅读2-ZFNet-Visualizing and Understanding Convolutional Networks

一、文章作者： Matthew D. Zeiler  和Rob Fergus  Dept. of Computer Science, Courant Institute, New York University原文链接：http://arxiv.org/pdf/1311.2901.pdf二、简介：该文章从可视化的角度分析AlexNet（即卷积神经网络）成功的原因，解释了为什么卷即神

转载 在实际项目中，如何选择合适的机器学习模型？

在这个文章中，我们主要面向初学者或中级数据分析师，他们对识别和应用机器学习算法都非常感兴趣，但是初学者在面对各种机器学习算法时，都会遇到一个问题是 “在实际项目中，我到底应该使用哪种算法呢？”。这个问题的答案取决于许多的因素，其中包括：数据的维度大小，数据的质量和数据的特征属性；你可以利用的计算资源；你所在的项目组对该项目的时间预计；你手上的数据能应用在哪些项目中；即使是一位经验丰

转载 CNN接受域（ receptive field）的计算

A guide to receptive field arithmetic for CNN原文：click hereCNN的两大神器之一，局部感知野（另一个是权值共享）。一般认为，人类的对外界的感知都是从局部到全局的，而对于图像来说，也是局部的像素在空间上的联系较为紧密（比如离得近的像素可能具有相同的颜色纹理），距离较远的像素相关性较弱。因而，每个神经元没有必要对全局进行感知，只需要对局部进行感知

转载 图像识别文章阅读1-ImageNet Classification with Deep Convolutional Neural Network-2012

ImageNet Classification with Deep Convolutional Neural NetworksAlex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton摘要我们训练了一个大型的深度卷积神经网络，来将在ImageNet LSVRC-2010大赛中的120万张高清图像分为1000个不同的类别。对测试数据