机器学习
文章平均质量分 93
随心1993
马尔克斯
昆德拉
海明威
展开
-
如何理解召回率、精确率以及准确率?
True Positive(真正, TP):将正类预测为正类数. True Negative(真负 , TN):将负类预测为负类数. False Positive(假正, FP):将负类预测为正类数 → 误报 (Type I error). False Negative(假负 , FN):将正类预测为负类数 →漏报 (Type II error).实际上非常简单,精确率是针对我们预测结果而言的转载 2017-05-30 16:18:11 · 6130 阅读 · 1 评论 -
python实现随机森林
定义:随机森林指的是利用多棵决策树对样本进行训练并预测的一种分类器。可回归可分类。 所以随机森林是基于多颗决策树的一种集成学习算法,常见的决策树算法主要有以下几种: 1. ID3:使用信息增益g(D,A)进行特征选择 2. C4.5:信息增益率 =g(D,A)/H(A) 3. CART:基尼系数 一个特征的信息增益(或信息增益率,或基尼系数)越大,表明特征对样本的熵的减少能力更...原创 2018-08-26 18:10:59 · 118342 阅读 · 34 评论 -
机器学习--逻辑回归
1、总述逻辑回归是应用非常广泛的一个分类机器学习算法,它将数据拟合到一个logit函数(或者叫做logistic函数)中,从而能够完成对事件发生的概率进行预测。2、由来要说逻辑回归,我们得追溯到线性回归,想必大家对线性回归都有一定的了解,即对于多维空间中存在的样本点,我们用特征的线性组合去拟合空间中点的分布和轨迹。如下图所示:线性回归能对连续值结果进行预测,而现实生活中常见的另...转载 2018-07-03 22:38:46 · 355 阅读 · 0 评论 -
机器学习优化问题-经验风险、期望风险、结构风险
经验风险:对所有训练样本都求一次损失函数,再累加求平均(平均损失)。即,模型f(x)对训练样本中所有样本的预测能力。Rexp=1N∑i=1NL(yi,f(xi))Rexp=1N∑i=1NL(yi,f(xi))R_{exp} = \frac{1}{N}\sum_{i=1}^{N}L(y_i,f(x_i))所谓经验风险最小化即对训练集中的所有样本点损失函数的平均最小化。经验风险越小说明模型...转载 2018-07-03 18:07:08 · 384 阅读 · 1 评论 -
机器学习中的优化算法介绍
在机器学习中,有很多的问题并没有解析形式的解,或者有解析形式的解但是计算量很大(譬如,超定问题的最小二乘解),对于此类问题,通常我们会选择采用一种迭代的优化方式进行求解。 这些常用的优化算法包括:梯度下降法(Gradient Descent),共轭梯度法(Conjugate Gradient),Momentum算法及其变体,牛顿法和拟牛顿法(包括L-BFGS),AdaGrad,Adadel...转载 2018-06-14 15:43:13 · 885 阅读 · 0 评论 -
机器学习中的范数理解(L0,L1,L2)
监督机器学习就是规则化参数的同时最小化误差。有监督学习的样本都是带有标签的样本,用 yyy 来表示样本的标签,我们通过算法来提取样本特征并对其进行分类或回归,得到结果 y1=WTxy1=WTxy_1 = W^Tx, 这里xxx为样本、WWW 即是参数,此时有目标函数 z=y−y1z=y−y1z = y - y_1,我们希望对于相同的样本,其结果输出与其标签一样,于是我们通过优化算法使得zzz ...原创 2018-06-13 20:42:30 · 5130 阅读 · 0 评论 -
CMC曲线(python代码实现)
在看人脸识别相关的paper时,常会遇到有的文献除了ROC曲线外,也会将CMC曲线作为他们的实验性能指标。那么,怎么理解CMC曲线呢?我在网上查阅了一些资料,为了方便理解,举例如下:假如我们训练好了一个3分类的模型,分别为类别c1,c2,c3。每个样本输入模型后会得到对应的3个匹配分数,匹配分数最高的那个类别即是预测的类别数。针对单样本: 现在我们手头仅有一个属于类别c1的样本,我们将...原创 2018-05-26 18:15:21 · 5304 阅读 · 4 评论 -
混淆矩阵(confusion matrix)理解
在机器学习中,当我们使用预先分配好的训练集训练好一个模型后,此时我们会使用预先分配好的测试集来检测我们训练好的这个模型怎么样?评价模型好坏的指标有很多,具体可以参见我以前的一篇博客: 如何理解误识率(FAR)拒识率(FRR),TPR,FPR以及ROC曲线,很常见的一个指标便是ROC曲线,它是在不同阈值的前提下以fpr以横坐标、tpr为纵坐标的二维坐标图。当我们用测试集去测试模型好坏时,输出会是...原创 2018-04-21 22:12:20 · 24106 阅读 · 0 评论 -
机器学习中常见的损失函数
常见的待见函数和损失函数是同一个意思,目标函数是一个与他们相关但更广的概念,对于目标函数来说在有约束条件下的最小化就是损失函数(loss function)。我们用训练集训练一个模型时,常见情况是寻找一个损失函数,然后使用优化算法如梯度下降算法让该损失值最小,然后结束迭代即模型就训练好了,之后便是拿测试集来测试该模型的鲁棒性。当然具体问题具体分析,真正训练模型时需要考虑的点蛮多的,这里...转载 2018-04-23 22:11:16 · 1056 阅读 · 0 评论 -
机器学习中常见的防止过拟合处理方法
本文转自这里:https://blog.csdn.net/heyongluoyao8/article/details/49429629过拟合 我们都知道,在进行数据挖掘或者机器学习模型建立的时候,因为在统计学习中,假设数据满足独立同分布(i.i.d,independently and identically distributed),即当前已产生的数据可以对未来的数据进行推测与模拟,因此...转载 2018-04-23 19:17:24 · 5495 阅读 · 0 评论 -
softmax多分类回归模型
softmax回归模型为logistic回归模型在多分类问题上的推广。假设我们有一个数组V,Vi是V中的第i个元素,那么这个元素的softmax值就是: 也就是说,是该元素的指数与所有元素指数和的比值。由该公式我们可计算得到数组V中的所有元素值所对应的softmax值,且这些值相加正好等于1,我们可称为这些值为每个元素所对应的概率值,根据该概率值即可以实现分类,最大的概率值所...原创 2018-04-22 19:53:54 · 3376 阅读 · 0 评论 -
交叉熵、相对熵及KL散度通俗理解
原文转载自http://blog.csdn.net/u012162613/article/details/44239919本文是《Neural networks and deep learning》概览 中第三章的一部分,讲machine learning算法中用得很多的交叉熵代价函数。1. 从方差代价函数说起代价函数经常用方差代价函数(即采用均方误差MSE),比如对于一个神经元(单输入单输出,si转载 2017-11-14 19:34:50 · 9263 阅读 · 0 评论 -
机器学习中常用的距离和相似性度量方法
在机器学习和数据挖掘中,我们经常需要知道个体间差异的大小,进而评价个体的相似性和类别。根据数据特性的不同,可以采用不同的度量方法。 以下简要介绍机器学习和数据挖掘中一些常见的距离公式,包括: 欧氏距离欧几里得度量(euclidean metric)(也称欧氏距离):以古希腊数学家欧几里得命名的距离;在二维和三维空间中的欧氏距离就是两点之间的实际距离。也就是我们直观的两点之间直线最短的直线距离。 计原创 2017-10-19 19:32:25 · 3131 阅读 · 0 评论 -
使用tensorflow利用神经网络分类识别MNIST手写数字数据集
下载MNIST数据集 当我们开始学习编程的时候,第一件事往往是学习打印”Hello World”。就好比编程入门有Hello World,机器学习入门有MNIST。 MNIST是一个入门级的计算机视觉数据集,它包含各种手写数字图片: 每张图片大小为28*28,展开成一维行向量就是784维,即每张图片就是784维空间中的一个点。 tensorflow提供一个input_data.py文件,原创 2017-07-26 16:41:38 · 6482 阅读 · 0 评论 -
Ubuntu16.04下安装Anaconda,tensorflow以及解决spyder中无法import tensorflow问题
第一步:下载anaconda 到Anaconda官网下载对应的linux anaconda版本。 我这里下载的是此刻的最新版本:Anaconda 4.4.0 for Linux,Python 3.6版本 第二步:安装anaconda 打开终端,cd 到anaconda的下载目录,按照上图左边提示的安装命令即可成功安装。即:bash Anaconda3-4.4.0-Linux-x86_64.sh原创 2017-06-27 21:33:11 · 15868 阅读 · 2 评论 -
如何理解误识率(FAR)拒识率(FRR),TPR,FPR以及ROC曲线
平时在做指纹、人脸识别时,会用到一些评价算法性能评价指标。常见的当属以下几种指标:误识率(FAR,false acceptance rate)拒识率(FRR,false rejection rate)ROC曲线(Receiver Operator characteristic Curve)其中误识率与拒识率的就算公式如下: 说白一些,假定在指纹匹配识别过程中: 误识率(FAR)是指在标准原创 2017-06-01 14:01:06 · 75791 阅读 · 11 评论 -
python实现ID3决策树分类算法
所有的分类与回归算法中心思想大致是一样的,那就是根据现有带标签的数据集训练一个分类器模型,然后对待未知的样本,根据训练好的分类模型来判定它属于哪个类。分类与回归的区别在我看来就是标签连续与否的区别,若标签连续,则是回归,若标签离散,则是分类。数据集中的每个样本的特征都是相同维度的,生活中我们常遇到的是根据某个样本少量的特征就可以确定这个样本属于哪个类,比如可以根据一个人的长相、身高、文凭、收入...原创 2018-08-25 22:31:49 · 33748 阅读 · 21 评论