- 博客(28)
- 资源 (4)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 【tensorflow】】模型优化（一）指数衰减学习率
指数衰减学习率是先使用较大的学习率来快速得到一个较优的解，然后随着迭代的继续,逐步减小学习率，使得模型在训练后期更加稳定。在训练神经网络时，需要设置学习率（learning rate）控制参数的更新速度，学习速率设置过小，会极大降低收敛速度，增加训练时间；学习率太大，可能导致参数在最优解两侧来回振荡。函数原型：tf.train.exponential_decay( learning_rat...
2018-03-28 21:28:12
9351
2
转载 【深度学习】权重初始化
为什么要初始化？暴力初始化效果如何？神经网络，或者深度学习算法的参数初始化是一个很重要的方面，传统的初始化方法从高斯分布中随机初始化参数。甚至直接全初始化为1或者0。这样的方法暴力直接，但是往往效果一般。本篇文章的叙述来源于一个国外的讨论帖子[1]，下面就自己的理解阐述一下。首先我们来思考一下，为什么在神经网络算法（为了简化问题，我们以最基本的DNN来思考）中，参数的选择很重要呢？以sigmoid...
2018-03-28 17:53:35
3337
2
转载 【机器学习】正则化方法
正则化方法：L1和L2 regularization、数据集扩增、dropout正则化方法：防止过拟合，提高泛化能力，减少部分特征的权重，进而忽略部分无关紧要的特征。因为考虑全部特征会将噪声加入进去，也就导致过拟合。在训练数据不够多时，或者overtraining时，常常会导致overfitting（过拟合）。其直观的表现如下图所示，随着训练过程的进行，模型复杂度增加，在training ...
2018-03-28 16:18:24
566
原创 【机器学习】softmax回归（二）
通过上篇softmax回归已经知道大概了，但是有个缺点，现在来仔细看看Softmax回归模型参数化的特点Softmax 回归有一个不寻常的特点：它有一个“冗余”的参数集。为了便于阐述这一特点，假设我们从参数向量 中减去了向量 ，这时，每一个 都变成了 ()。此时假设函数变成了以下的式子：换句话说，从 中减去 完全不影响假设函数的预测结果！这表明前
2018-03-28 15:48:24
525
原创 【机器学习】softmax回归（一）
在 softmax回归中，我们解决的是多分类问题（相对于 logistic 回归解决的二分类问题），类标 可以取 个不同的值（而不是 2 个）。因此，对于训练集 ，我们有 。（注意此处的类别下标从 1 开始，而不是 0）。例如，在 MNIST 数字识别任务中，我们有 个不同的类别。对于给定的测试输入 ，如果输入的图片分辨率是28x28.则数据x是一个784的向量。我们想用假设函数针对每一个类...
2018-03-28 15:10:24
590
转载 【机器学习】交叉熵函数的使用及推导
前言说明：本文只讨论Logistic回归的交叉熵，对Softmax回归的交叉熵类似。 minist手写数字识别就是用交叉熵作为代价函数。 1.从方差代价函数说起 代价函数经常用方差代价函数（即采用均方误差MSE），比如对于一个神经元（单输入单输出，sigmoid函数）,定义其代价函数为：其中y是我们期望的输出，a为神经元的实际输出【 a=σ(z), where z=wx...
2018-03-28 12:25:36
1928
转载 【深度学习】卷积神经网络
讲卷积神经网络之前说说为什么能够进行分类识别？按照传统的SIFT，HOG算法都是先进行特征的提取过程，那么卷积神经网络怎么进行特征的提取呢？ 下面，我们就开始吧！先提一个小问题：“你是通过什么了解这个世界的？”当一辆汽车从你身边疾驰而过，你是通过哪些信息知道那是一辆汽车？“它的材质，速度，发动机的声响，还是什么？”你可能说不清所以然，但是当你看到下图时，你会第一时间反应...
2018-03-27 21:48:03
1178
1
转载 特征检测HOG算法
简介 HOG（Histogram of Oriented Gridients的简写）特征检测算法，最早是由法国研究员Dalal等在CVPR-2005上提出来的，一种解决人体目标检测的图像描述子，是一种用于表征图像局部梯度方向和梯度强度分布特性的描述符。其主要思想是：在边缘具体位置未知的情况下，边缘方向的分布也可以很好的表示行人目标的外形轮廓。 Dal
2018-03-24 14:11:16
709
转载 SIFT算法
1、SIFT综述尺度不变特征转换(Scale-invariant feature transform或SIFT)是一种电脑视觉的算法用来侦测与描述影像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量，此算法由 David Lowe在1999年所发表，2004年完善总结。其应用范围包含物体辨识、机器人地图感知与导航、影像缝合、3D模型建立、手势辨识、影像追踪和动作比
2018-03-24 10:17:30
55487
7
转载 ORB算法
1.特征点的检测 图像的特征点可以简单的理解为图像中比较显著显著的点，如轮廓点，较暗区域中的亮点，较亮区域中的暗点等。 原图 轮廓线（可能的特征点） ORB采用FAST（features from accelerated
2018-03-23 14:34:31
2139
原创 为什么拉普拉斯算子具有旋转不变性
1.数学证明2.利用图像证明可以看出 拉普拉斯算子为周边四个元素和减去中间元素，也可以添加对角的45度方向的，则就是周边8个元素减去中间的元素。但是通常是会用中间元素减去周边元素。可以看出与周边的元素的顺序无关，即旋转不变性
2018-03-23 13:01:31
6149
3
转载 特征描述子提取BRIEF算法
1. BRIEF简介 BRIEF是一种特征描述子提取算法，并非特征点的提取算法，这和SIFT，SURF等是有区别的。SIFT是由Lowe在2004提出，是一种128维的浮点描述子，其不仅仅提取代价高，而且匹配代价十分高（虽然有KDTree），还造成了大量空间浪费。 正是基于上面特点，作者提出了BRIEF，一种生成二值化描述子的算法，不仅仅提取代价低，匹配也只需要使用
2018-03-22 23:50:03
1585
原创 特征点检测FAST算法
1.FAST基本算法用一句话来讲FASTN算法的原理就是：若一个像素周围有一定数量的像素与该点像素值不同，则认为其为角点。步骤如下：1）在图像中任选一点p， 假定其像素（亮度）值为 Ip2）以r为半径画圆，覆盖p点周围的M个像素，如下图所示: r=3， M=163）设定阈值t，如果这周围的16个像素中有连续的N个像素的像素值减去 Ip−t 或者有连续的N个像素都大于 Ip+t，
2018-03-22 23:45:13
9549
转载 汉明距离
Hamming Distance (汉明距离)1. 汉明距离的定义 在信息理论中，Hamming Distance 表示两个等长字符串在对应位置上不同字符的数目，我们以d(x, y)表示字符串x和y之间的汉明距离。从另外一个方面看，汉明距离度量了通过替换字符的方式将字符串x变成y所需要的最小的替换次数。# 举例说明以下字符串间的汉明距离为："karolin" and
2018-03-22 23:03:42
1544
原创 python3安装opencv3扩展库以及jupyter环境下出现的问题汇总
由于需要使用SURF算法，而opencv是个不错的选择。但是opencv3版本的将一些不稳定的算法例如SURF算法放到了扩展库中，普通下载的opencv3库没有将这些算法包含在内。则需要下载对应opencv_contrib.一：下载对应版本的opencv的轮子（wheel）python一般安装库的方法采用pip install +库名。但是由于opencv好像是不支持python3的，不
2018-03-18 20:21:22
3463
原创 【tensorboard】tensorboard的启动步骤及出现的问题汇总
tensorboard启动步骤：1：创建代码import tensorflow as tfimport osprint('__________________________开始计算图————————————————')with tf.Graph().as_default(): x=tf.placeholder(tf.float32) y=tf.placeholder
2018-03-17 01:18:23
3367
转载 【anaconda】创建虚拟环境
1、首先在所在系统中安装Anaconda。可以打开命令行输入conda -V检验是否安装以及当前conda的版本。2、conda常用的命令。 1）conda list 查看安装了哪些包。 2）conda env list 或 conda info -e 查看当前存在哪些虚拟环境 3）conda update conda 检查更新当前conda3、创建pyt
2018-03-16 22:01:12
4428
【python】均值滤波，中值滤波，最大值滤波，最小值滤波
均值滤波：均值滤波，是图像处理中最常用的手段，从频率域观点来看均值滤波是一种低通滤波器，高频信号将会去掉，因此可以帮助消除图像尖锐噪声，实现图像平滑，模糊等功能。理想的均值滤波是用每个像素和它周围像素计算出来的平均值替换图像中每个像素。采样Kernel数据通常是3X3的矩阵，如下表示：从左到右从上到下计算图像中的每个像素，最终得到处理后的图像。均值滤波可以加上两个参数，...
2018-03-12 15:10:41
31130
转载 【机器学习】主成分分析详解
一、PCA简介1. 相关背景主成分分析（Principal Component Analysis，PCA）， 是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。上完陈恩红老师的《机器学习与知识发现》和季海波老师的《矩阵代数》两门课之后，颇有体会。最近在做主成分分析和奇异值分解方面的项目，所以记录一下心得体会。在许多领域的...
2018-03-04 11:20:39
68006
14
原创 【数学之概率论】残差与误差的区别
在统计和最优参数选取时,统计误差以及残差是两个紧密相关,但同时又极易混淆的概念.两者都是对"样本值偏离均值"的测量. 样本误差是指样本对母本(无法观察到的)均值及真实值的均值的偏离. 残差则是指样本和观察值(样本总体)或回归值(拟合)的差额. 拟合值是统计模型的拟合结果,是依据拟合模型得出的,应该是的值; 误差和残差的差异distinction在回归中尤其重要, 精细的残差即通常所说的学生化残差....
2018-03-04 10:50:35
11401
转载 矩阵方法QR
1. QR 分解的形式QR 分解是把矩阵分解成一个正交矩阵与一个上三角矩阵的积。QR 分解经常用来解线性最小二乘法问题。QR 分解也是特定特征值算法即QR算法的基础。用图可以将分解形象地表示成：其中， Q 是一个标准正交方阵， R 是上三角矩阵。 2. QR 分解的求解QR 分解的实际计算有很多方法，例如 Givens 旋转、Householder 变换，以及 Gram-Schmidt 正交化等等...
2018-03-04 10:48:48
3154
转载 【数学之概率论】本质理解泊松分布于指数分布
一、泊松分布日常生活中，大量事件是有固定频率的。某医院平均每小时出生3个婴儿某公司平均每10分钟接到1个电话某超市平均每天销售4包xx牌奶粉某网站平均每分钟有2次访问它们的特点就是，我们可以预估这些事件的总数，但是没法知道具体的发生时间。已知平均每小时出生3个婴儿，请问下一个小时，会出生几个？有可能一下子出生6个，也有可能一个都不出生。这是我们没法知道的。泊松分布就是描述某段时间内，事件具体的发生...
2018-03-04 10:45:35
14363
转载 【机器学习实战】支持向量机SMO算法详解
SMO算法# 加载数据def loadDataSet(fileName): dataMat = [];labelMat = [] fr = open(fileName) for line in fr.readlines(): lineArr = line.strip
2018-03-03 21:40:33
1743
原创 【机器学习】代价函数，损失函数，目标函数区别
一：损失函数，代价函数，目标函数定义首先给出结论：损失函数（Loss Function ）是定义在单个样本上的，算的是一个样本的误差。代价函数（Cost Function ）是定义在整个训练集上的，是所有样本误差的平均，也就是损失函数的平均。目标函数（Object Function）定义为：最终需要优化的函数。等于经验风险+结构风险（也就是Cost Function + 正则化项）。关于目标函数和...
2018-03-03 10:45:26
55187
12
转载 【python入门】multiply用法
multiply(a,b)就是个乘法，如果a,b是两个数组，那么对应元素相乘先来看个例子：为什么上面的multiply(a, b)是这种结果，原因是multiply是ufunc函数当我们使用ufunc函数对两个数组进行计算时，ufunc函数会对这两个数组的对应元素进行计算，因此它要求这两个数组有相同的大小(shape相同)。如果两个数组的shape不同的话，会进行如下的广播
2018-03-02 19:18:22
28005
1
原创 【python】transpose详解
transpose是什么意识呢？ 看如下例子：arr1 = np.arange(16).reshape((2,2,4)) arr1array([[[ 0, 1, 2, 3], [ 4, 5, 6, 7]], [[ 8, 9, 10, 11], [12, 13, 14, 15]]])这是原来的矩阵。如果对其进行转置，执行arr2 = arr1.t...
2018-03-02 17:30:15
7212
转载 【机器学习】支持向量机原理之SMO算法原理
1. 回顾SVM优化目标函数 我们首先回顾下我们的优化目标函数：minα12∑i=1,j=1mαiαjyiyjK(xi,xj)−∑i=1mαimin⏟α12∑i=1,j=1mαiαjyiyjK(xi,xj)−∑i=1mαis.t.∑i=1mαiyi=0s.t.∑i=1mαiyi=00≤αi≤C0≤αi≤C 我们的解要满足的KKT条件的对偶互补
2018-03-02 16:02:35
396
转载 【机器学习】支持向量机推导
1 认识向量机支持向量机是处理数据分类问题，目的是学会一个二分类的函数模型，属于监督式学习的方法，被广泛应用于统计分类和回归分析。通过建立一个超平面对样本数据进行分类，超平面涉及到凸优化及核函数的应用，而对于怎么找到最优的超平面就是这部分要讲的内容。2 线性分类假设数据样本集是线性可分，即存在一个超平面将其分成两类。以下推导的过程都是基于线性可分，非线性分类是在线性分类加上
2018-03-02 15:37:59
559
contrib3.1.0文件（可用于opencv3.1.0配置contrib3.1.0）由于上传大小限制，编译的文件太大上传不了。
2018-01-16
opencv人脸检测成功，但是为什么人眼检测却出错？新人小白求解。
2017-11-19
TA创建的收藏夹 TA关注的收藏夹
TA关注的人