2018年05月_NineDays66

原创 caffe finetune

propagate_down具体使用方法及决定是否反传的各个参数的区别假设我们有4个卷积层A->B->C->Dpropagate_down (如果没效果就使用方法2 每一层含有参数的设置r_mult=0)我们希望C层的参数不改变，以及C前面的A、B层的参数也不改变，这种情况也就是D层的梯度不往前反向传播到D层的输入blob（也就是C层的输出blob 没有得到梯...

2018-05-31 14:37:11 327

原创 hdf5 文件生成 C++

使用 hdf5 配置1. 包含目录E:\WorkSpace\SoftWare\hdf5\include2.库目录E:\WorkSpace\SoftWare\hdf5\lib\3.链接器 -输入hdf5.libhdf5_cpp.lib4. C/C++ -预处理器定义H5_BUILT_AS_DYNAMIC_LIB;注意使用 hdf5 用于训练过程...

2018-05-30 09:37:08 4404 1

翻译人脸识别-损失函数改进方法之L-softmax loss center-loss A-softmax loss focal loss

而ArcFac中的loss与其他loss不同之处在于下图：与CosFace的解释相同，只是ArcFace相比CosFace的不同体现在度量的维度上面。论文中还做了其他很多的贡献，具体的请详见论文。 1、Large Marge Softmax Loss ICML2016提出的Large Mar...

2018-05-29 08:46:49 6951

原创局部响应归一化LRN(Local Response Normalization)理解

1、其中LRN就是局部响应归一化：这个技术主要是深度学习训练时的一种提高准确度的技术方法。其中caffe、tensorflow等里面是很常见的方法，其跟激活函数是有区别的，LRN一般是在激活、池化后进行的一中处理方法。 AlexNet将LeNet的思想发扬光大，把CNN的基本原理应用到了很深很宽的网络中。AlexNet主要使用到的新技术点如下。（1）成功使用ReLU...

2018-05-28 10:41:13 5143

转载语义分割中的深度学习方法全解：从FCN、SegNet到各代DeepLab

图像语义分割就是机器自动从图像中分割出对象区域，并识别其中的内容。语义分割是什么？语义分割方法在处理图像时，具体到像素级别，也就是说，该方法会将图像中每个像素分配到某个对象类别。下面是一个具体案例。△ 左边为输入图像，右边为经过语义分割后的输出图像。该模型不仅要识别出摩托车和驾驶者，还要标出每个对象的边界。因此，与分类目的不同，相关模型要具有像素级的密集预测能力。...

2018-05-28 10:07:57 3914 2

转载反卷积(Transposed Convolution, Fractionally Strided Convolution or Deconvolution)

反卷积（Deconvolution）的概念第一次出现是Zeiler在2010年发表的论文Deconvolutional networks中，但是并没有指定反卷积这个名字，反卷积这个术语正式的使用是在其之后的工作中(Adaptive deconvolutional networks for mid and high level feature learning)。随着反卷积在神经网络可视化上的成功应...

2018-05-28 09:28:30 677

原创随机森林，xgboost, gbdt

决策树决策树生成包含三个步骤: 特征选择 ——> 决策树生成——> 决策树修剪:特征选择：理解: 根据某些规则选取使决策树性能最好的特征 1.1 信息熵 1.2 信息增益（缺点：偏向于选取值较多的特征） 1.3 信息增益比（基于信息增益的改进，克服了了上述信息增益的缺点）决策树生成： 2.1 ID3:在各个节点应用信息增益准测选择特征，递归构建决策树 2.2 C4.5:在ID3的基础上...

2018-05-23 15:10:44 841

原创 L2 Normalization Layer in Caffe

有的时候我们需要在Caffe中添加新的Layer，现在在做的项目中，需要有一个L2 Normalization Layer，Caffe中居然没有，所以要自己添加。所以最重要的是如何实现forward_cpu(forward_gpu), backward_cpu(backward_gpu). 1. L2 Normalization Forward Pass(向前传导)1.1 Form...

2018-05-23 14:33:20 2629 1

原创 backpropagation-反向传播

https://www.zybuluo.com/hanbingtao/note/476663 一下流程是使用的平方误差公式 Loss = (hx - y)^2 的推到公式如果最后使用的是最大释然估计公式就是 AndNG讲的公式 (只有最后一层的误差不同，少一个yi*(1-yi)). ...

2018-05-22 10:51:27 363

原创 caffe 训练

1. train.bat..\caffe-windows-master\bin\caffe.exe //安装配置时生成的caffe.exe路径 train //表示训练过程 --solver=.\model\solver.prototxt //参数设置文件 --weights=.\mod...

2018-05-22 09:07:23 218

翻译从VGG到ResNet，你想要的MXNet预训练模型轻松学

本文介绍了如何利用 Apache MXNet 预训练出的多个模型。每个模型在特定图像上的表现略有不同，训练多个模型旨在找出更适合特定任务的模型。在这篇博文中，你将会了解如何使用 Apache MXNet 预训练出的多个模型。为什么要尝试多个模型呢？为什么不直接选择准确率最高的呢？稍后我们会在文章中看到，尽管这些模型是在相同的数据集上训练的，并且都针对最大准确率进行了优化，但它们在特定图像上...

2018-05-21 10:24:33 3158

翻译推荐｜TensorFlow/PyTorch/Sklearn实现的五十种机器学习模型

一、机器学习线性模型TensorFlow | 线性回归模型：https://github.com/zhedongzheng/finch/blob/master/tensorflow-models/linear_model/linear_regr.py测试：https://github.com/zhedongzheng/finch/blob/master/tensorflow-models/line...

2018-05-21 09:48:47 2170

原创近来人脸识别的 loss

最近（2017/2018）人脸识别的相关论文人脸识别的Loss函数改进的论文比较多, 如:[2017] L2-constrained Softmax Loss for Discriminative Face Verification[2017 ACM MM] NormFace_ L2 Hypersphere Embedding for Face Verification[2017 CVPR] Sp...

2018-05-17 09:04:41 1881

原创 Caffe 各层

slice：在某一个维度，按照给定的下标，blob拆分成几块。比如要拆分channel，总数50，下标为10,20,30,40，那就是分成5份，每份10个channel，输出5个layer。concat：在某个维度，将输入的layer组合起来，是slice的逆过程。split：将blob复制几份，分别给不同的layer，这些上层layer共享这个blob。tile：将blob的某个维度...

2018-05-16 15:37:45 1094

转载计算机视觉 2016 CV技术报告

The M Tank 编辑了一份报告《A Year in Computer Vision》，记录了 2016 至 2017 年计算机视觉领域的研究成果，对开发者和研究人员来说是不可多得的一份详细材料。该材料共包括四大部分，在本文中机器之心对第一部分做了编译介绍，后续会放出其他部分内容。内容目录简介第一部分分类/定位目标检测目标追踪第二部分分割超分辨率、风格迁移、着色动作识别第三部分3D 目标人体姿...

2018-05-16 10:35:19 731

转载从RCNN到SSD 了解目标检测算法

目标检测是很多计算机视觉任务的基础，不论我们需要实现图像与文字的交互还是需要识别精细类别，它都提供了可靠的信息。本文对目标检测进行了整体回顾，第一部分从 RCNN 开始介绍基于候选区域的目标检测器，包括 Fast R-CNN、Faster R-CNN 和 FPN 等。第二部分则重点讨论了包括 YOLO、SSD 和 RetinaNet 等在内的单次检测器，它们都是目前最为优秀的方法。机器之心之前...

2018-05-16 10:28:57 431

原创 2017年的计算机视觉发展

1.计算机视觉对于计算机视觉领域来说，贡献最大的当然是 CVPR 与 ICCV，其它如 IJCAI 等也有相关主题的获奖论文。这些获奖论文具体研究的方向主要有目标检测、图像标注、图像生成、语义分割、卷积神经网络架构等方面。今年唯一以研究卷积架构为主题的获奖论文是康奈尔与清华大学联合完成的 Densely Connected Convolutional Networks，他们发现如果卷积神经网络...

2018-05-16 10:20:00 967

原创并行编程OpenMP基础及简单示例

OpenMP基本概念 OpenMP是一种用于共享内存并行系统的多线程程序设计方案，支持的编程语言包括C、C++和Fortran。OpenMP提供了对并行算法的高层抽象描述，特别适合在多核CPU机器上的并行程序设计。编译器根据程序中添加的pragma指令，自动将程序并行处理，使用OpenMP降低了并行编程的难度和复杂度。当编译器不支持OpenMP时，程序会退化成普通（串行）程序。程序中已有的...

2018-05-15 10:52:12 39622 4

转载提高C++程序运行效率的10个简单方法

本文以C/C++程序为例讲述了程序运行效率的10个简单方法，分享给大家供大家参考之用。具体分析如下：对于每一个程序员来说，程序的运行效率都是一个值得重视，并为之付出努力的问题。但是程序性能的优化也是一门复杂的学问，需要很多的知识，然而并不是每个程序员都具备这样的知识，而且论述如何优化程序提高程序运行效率的书籍也很少。但是这并不等于我们可以忽略程序的运行效率，下面就介绍一下本人积累的一些简单实用的提...

2018-05-14 11:25:17 11849 2

转载数据科学家必须了解的六大聚类算法：带你发现数据之美

在机器学习中，无监督学习一直是我们追求的方向，而其中的聚类算法更是发现隐藏数据结构与知识的有效手段。目前如谷歌新闻等很多应用都将聚类算法作为主要的实现手段，它们能利用大量的未标注数据构建强大的主题聚类。本文从最基础的 K 均值聚类到基于密度的强大方法介绍了 6 类主流方法，它们各有擅长领域与情景，且基本思想并不一定限于聚类方法。本文将从简单高效的 K 均值聚类开始，依次介绍均值漂移聚类、基于密度的...

2018-05-13 16:18:55 988

转载奇异值分解简介：从原理到基础机器学习应用

矩阵分解在机器学习应用中的重要性无需多言。本文对适用范围很广的奇异值分解方法进行了介绍，并通过代码演示说明了其工作方式、计算方法及其常见的几种基础应用。矩阵分解也叫矩阵因子分解，涉及到用给定矩阵的组成元素描述该矩阵。奇异值分解（SVD）可能是最著名和使用最广泛的矩阵分解方法。所有矩阵都有一种 SVD 方法，这使得其比特征分解（eigendecomposition）等其它方法更加稳定。因此，这种方法...

2018-05-13 16:15:52 664

转载这是一份优美的信息图，吴恩达点赞的deeplearning.ai课程总结

吴恩达在推特上展示了一份由 TessFerrandez 完成的深度学习专项课程信息图，这套信息图优美地记录了深度学习课程的知识与亮点。因此它不仅仅适合初学者了解深度学习，还适合机器学习从业者和研究者复习基本概念。机器之心认为这不仅仅是一份课程笔记，同时还是一套信息图与备忘录。下面，我们将从深度学习基础、卷积网络和循环网络三个方面介绍该笔记，并提供信息图下载地址。信息图下载地址：https://pa...

2018-05-13 16:14:05 289

转载机器学习新手必看10大算法

本文介绍了机器学习新手需要了解的 10 大算法，包括线性回归、Logistic 回归、朴素贝叶斯、K 近邻算法等。在机器学习中，有一种叫做「没有免费的午餐」的定理。简而言之，它指出没有任何一种算法对所有问题都有效，在监督学习（即预测建模）中尤其如此。例如，你不能说神经网络总是比决策树好，反之亦然。有很多因素在起作用，例如数据集的大小和结构。因此，你应该针对具体问题尝试多种不同算法，并留出一个数据「...

2018-05-13 16:10:52 464

转载四天速成！香港科技大学 PyTorch 课件分享

前天，香港科技大学计算机系教授 Sung Kim 在 Google Drive 分享了一个 3 天速成的TensorFlow 极简入门教程；接着，他在 GitHub 上又分享了一个 3 至 4 日的速成教程，教大家如何使用 PyTorch 进行机器学习／深度学习。Sung Kim 共享了该教程的代码和 PPT 资源，机器之心对其做了扼要介绍。资源链接请见文中。代码：http...

2018-05-13 15:49:41 484

转载 CVPR2018-腾讯AI Lab提出新型损失函数LMCL：可显著增强人脸识别模型的判别能力

深度卷积神经网络 (CNN) 已经推动人脸识别实现了革命性的进展。人脸识别的核心任务包括人脸验证和人脸辨识。然而，在传统意义上的深度卷积神经网络的 softmax 代价函数的监督下，所学习的模型通常缺乏足够的判别性。为了解决这一问题，近期一系列损失函数被提出来，如 Center Loss、L-Softmax、A-Softmax。所有这些改进算法都基于一个核心思想：增强类间差异并且减小类内差异。腾...

2018-05-13 15:43:05 2947

转载线性代数矩阵运算

线性代数的概念对于理解机器学习背后的原理非常重要，尤其是在深度学习领域中。它可以帮助我们更好地理解算法内部到底是怎么运行的，借此，我们就能够更好的做出决策。所以，如果你真的希望了解机器学习具体算法，就不可避免需要精通这些线性代数的概念。这篇文章中，我们将向你介绍一些机器学习中涉及的关键线性代数知识。线性代数是一种连续形式的数学，被广泛应用于理工类学科中；因为它可以帮助我们对自然现象建模，然后进行高...

2018-05-13 15:31:15 21749 4

转载从入门到高阶，读懂机器学习需要哪些数学知识

本篇文章想要说明的是数学并非认识世界的唯一途径，即使数学水平不高的你同样也可以开展机器学习方面的工作和研究。但是不可否认数学是自然科学领域探究真理的有效工具，有了强大的数学背景知识会让你看待问题更加深刻，这就是我们经常会看到很多大牛们都是出身数学专业。另外本文所列举的课程比较多，要想一下子去穷尽所有课程显然也不现实，大可不必打好所有的数学基础再去学机器学习，最好的做法是当你对机器学习本身的理解达到...

2018-05-13 15:24:19 1800

转载从传统方法到深度学习，人脸关键点检测方法综述

人脸关键点检测是人脸识别和分析领域中的关键一步，它是诸如自动人脸识别、表情分析、三维人脸重建及三维动画等其它人脸相关问题的前提和突破口。近些年来，深度学习方法由于其自动学习及持续学习能力，已被成功应用到了图像识别与分析、语音识别和自然语言处理等很多领域，且在这些方面都带来了很显著的改善。因此，本文针对深度学习方法进行了人脸关键点检测的研究。关键词：人脸关键点；人脸特征点；人脸对齐；卷积神经网络目...

2018-05-11 10:00:02 842

原创人脸属性技术总结

对人脸的基本属性实现实时性分析。其基本属性包括：68个关键点，表情，年龄(年龄段)，性别，种族。2.可用于研究的数据集关键点检测可用数据库：BioID（1000张 20个关键点），LFPW：（1132 张，29个关键点），AFLW（25993张,21个关键点），COFW：（1852张,每个人脸标定29个关键点），ICCV13/MVFW ：（2500张,68个关键点），OCFW：（3837张,...

2018-05-10 15:24:42 4019 1

转载人脸对齐 - ERP 和 LBF

人脸对齐（Face Alignment）基本概念及原理文章名称：One Millisecond Face Alignment with an Ensemble of Regression Trees人脸对齐中的几个关键词：形状（shape）：形状就是人脸上的有特征的位置，如下图所示，每张图中所有黄点构成的图形就是该人脸的形状。特征点（landmark）：形状由特征点组成，图中的每一个黄点就是一个...

2018-05-10 15:02:07 1685

原创 Opencv3.1 实现物体跟踪

在本教程中，给大家介绍基于opencv3.1的目标跟踪的API，我们将学习如何以及何时使用OpenCV 3.1中提供的6种不同的跟踪器-BOOSTING，MIL，KCF，TLD，MEDIANFLOW和GOTURN。 #include <opencv2/opencv.hpp>#include <opencv2/core/core.hpp>#include <...

2018-05-07 10:53:02 2112 2

原创命令笔记

很实用的命令, Mark一下，windows MD5 查看certutil -hashfile D:\1.exe MD5certutil -hashfile D:\1.exe SHA1certutil -hashfile D:\1.exe SHA256

2018-05-04 13:48:16 102

转载 visual studio 2015 key vs2015密钥

Visual Studio Professional 2015简体中文版（专业版）KEY：HMGNV-WCYXV-X7G9W-YCX63-B98R2Visual Studio Enterprise 2015简体中文版（企业版）KEY：HM6NR-QXX7C-DFW2Y-8B82K-WTYJV

2018-05-03 08:41:20 725

原创 CK+ 数据标注

CK+ 数据标注：之前在做人脸表情识别时想以 CK+ 做为数据集，但是发现该数据集存在的标签太少，总共只有329个，后面就根据这些标签和文件结构对人脸的标注进行了扩展。一下是扩展后的标签数据集。有1799张，可以拿来做简单的训练和测试了。C:\WorkSpace\Word\emotion_reconginzed\data_ck\face_img\S132_002_00000018.p...

2018-05-02 19:37:03 1551 3

weixin_NineDays66