机器学习
文章平均质量分 56
时光碎了天
高级图像算法工程师,研究领域包括图像/视频降噪、图像压缩、图像超分、目标检测、语义分割、模型压缩以及OCR。
展开
-
矩阵求导公式
原文地址:矩阵求导公式【转】作者:三寅今天推导公式,发现居然有对矩阵的求导,狂汗--完全不会。不过还好网上有人总结了。吼吼,赶紧搬过来收藏备份。基本公式:Y = A * X --> DY/DX = A'Y = X * A --> DY/DX = AY = A' * X * B --> DY/DX = A * B'Y = A' * X' * B --> DY/DX转载 2017-04-04 10:52:26 · 12209 阅读 · 2 评论 -
主成分分析(PCA)原理详解
转载请声明出处:http://blog.csdn.net/zhongkelee/article/details/44064401一、PCA简介1. 相关背景 上完陈恩红老师的《机器学习与知识发现》和季海波老师的《矩阵代数》两门课之后,颇有体会。最近在做主成分分析和奇异值分解方面的项目,所以记录一下心得体会。 在许多领域的研究与应用中,往往需要对反转载 2017-04-05 14:48:35 · 1453 阅读 · 0 评论 -
GBDT(MART) 迭代决策树入门教程 | 简介
GBDT(Gradient Boosting Decision Tree) 又叫 MART(Multiple Additive Regression Tree),是一种迭代的决策树算法,该算法由多棵决策树组成,所有树的结论累加起来做最终答案。它在被提出之初就和SVM一起被认为是泛化能力(generalization)较强的算法。近些年更因为被用于搜索排序的机器学习模型而引起大家关注。第转载 2017-08-29 15:39:33 · 321 阅读 · 0 评论 -
机器学习中的特征选择
特征选择是一个重要的数据预处理过程,获得数据之后要先进行特征选择然后再训练模型。主要作用:1、降维 2、去除不相关特征。特征选择方法包含:子集搜索和子集评价两个问题子集搜索包含前向搜索、后向搜索、双向搜索等。子集评价方法包含:信息增益,交叉熵,相关性,余弦相似度等评级准则。常见的特征选择方法:过滤式、包裹式、嵌入式。 一、过滤式 变量排序就是一种典型的过滤式方原创 2017-09-15 15:10:34 · 964 阅读 · 0 评论 -
Softmax 和Softmax-Loss在深度学习里面的求导
原创 2017-08-01 16:27:00 · 471 阅读 · 0 评论 -
矩阵的特征值和特征向量的雅克比算法C/C++实现
矩阵的特征值和特征向量是线性代数以及矩阵论中非常重要的一个概念。在遥感领域也是经常用到,比如多光谱以及高光谱图像的主成分分析要求解波段间协方差矩阵或者相关系数矩阵的特征值和特征向量。根据普通线性代数中的概念,特征值和特征向量可以用传统的方法求得,但是实际项目中一般都是用数值分析的方法来计算,这里介绍一下雅可比迭代法求解特征值和特征向量。雅克比方法用于求实对称阵的全部特征值、特征向量。对...转载 2017-07-14 15:13:12 · 4873 阅读 · 2 评论 -
机器学习——决策树ID3
一.决策树算法概述:决策树(Decision Tree)是在已知各种情况发生概率的基础上,通过构成决策树来求取净现值的期望值大于等于零的概率,评价项目风险,判断其可行性的决策分析方法,是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干,故称决策树。在机器学习中,决策树是一个预测模型,他代表的是对象属性与对象值之间的一种映射关系。决策树是一种树形结构,其中每个内部节原创 2017-03-18 10:47:44 · 501 阅读 · 0 评论 -
机器学习—— k-近邻算法
一.k-近邻算法概述:简单地说,k-近邻算法采用测量不同特征值之间的距离方法进行分类。k-近邻算法(KNN),它的工作原理是:存在一个样本数据集,也称训练样本集,并且样本集中每个数据都存在标签,即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据后,将数据的每个特征与样本集合中数据对应的特征进行比较,然后算法提取样本集中特征最相似数据(最近邻)的分类标签。一般来说,我们只选原创 2017-03-17 15:21:30 · 286 阅读 · 0 评论 -
机器学习——基于概率论的分类方法:朴素贝叶斯
一.贝叶斯概述:贝叶斯决策论是概率框架下实施决策的基本方法。对分类任务来说,在所有相关概率都已知的理想情形下,贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。朴素贝叶斯采用了“属性条件独立性假设”:对已知类别,假设所有属性相互独立。用一个比较直接的方式来描述一下,我们现在用p1(x,y)表示数据点(x,y)属于类别1的概率,用p2(x,y)表示数据点(x,y)属于类别2的概原创 2017-03-18 16:53:12 · 832 阅读 · 0 评论 -
梯度下降法
本文由LeftNotEasy所有,发布于http://leftnoteasy.cnblogs.com。如果转载,请注明出处,在未经作者同意下将本文用于商业用途,将追究其法律责任。前言:上次写过一篇关于贝叶斯概率论的数学,最近时间比较紧,coding的任务比较重,不过还是抽空看了一些机器学习的书和视频,其中很推荐两个:一个是 stanford的machine learning公开课,在v转载 2017-03-19 16:19:11 · 239 阅读 · 0 评论 -
机器学习——Logisitc回归
一.Logistic回归概述:假设现在有一些数据点,我们用一条直线对这些点进行拟合(该线称为最佳拟合直线),这个拟合过程就称为回归。利用Logistic回归进行分类的主要思想是:根据现有数据对分类边界线建立回归公式,以此进行分类。二,Logistic的优缺点:优点:计算代价不高,易于理解和实现缺点:容易欠拟合,分类精度可能不高适用数据类型:数值型和标称型数据原创 2017-03-19 17:02:05 · 929 阅读 · 0 评论 -
SVM-支持向量机算法概述
(一)SVM的背景简介支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的,它在解决小样本、非线性及高维模式识别中表现出许多特有的优势,并能够推广应用到函数拟合等其他机器学习问题中[10]。支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上的,根据有限的样本信息在模型的复杂性(即对特定训练样本的学习精度,Ac转载 2017-03-20 11:44:46 · 332 阅读 · 0 评论 -
深入理解K-Means聚类算法
原文 http://blog.csdn.net/taoyanqi8932/article/details/53727841主题 K-means概述什么是聚类分析聚类分析是在数据中发现数据对象之间的关系,将数据进行分组,组内的相似性越大,组间的差别越大,则聚类效果越好。不同的簇类型聚类旨在发现有用的对象簇,在现实中我们用到很多的簇的类型,使用转载 2017-03-01 15:23:35 · 3246 阅读 · 0 评论