机器学习
gukedream
人不能像走兽那样活着,应该追求知识和美德。
展开
-
常用机器学习算法 [EM算法]
常用机器学习算法 [EM算法]EM算法是一种迭代法,其目标是求解似然函数或后验概率的极值,而样本中具有无法观测的隐含变量。因为隐含变量,我们无法直接通过最大化似然函数来确定参数的值。可以采用一种策略,构造出对数似然函数的一个下界函数,这个函数不含有隐含变量,然后优化这个下界,使原问题达到最优解,这就是EM算法所采用的思路。算法的构造依赖与Jensen不等式。算法在实现时首先随机初始化参数set...原创 2019-01-18 20:10:04 · 202 阅读 · 0 评论 -
如何解决机器学习中数据不平衡问题
这几年来,机器学习和数据挖掘非常火热,它们逐渐为世界带来实际价值。与此同时,越来越多的机器学习算法从学术界走向工业界,而在这个过程中会有很多困难。数据不平衡问题虽然不是最难的,但绝对是最重要的问题之一。一、数据不平衡在学术研究与教学中,很多算法都有一个基本假设,那就是数据分布是均匀的。当我们把这些算法直接应用于实际数据时,大多数情况下都无法取得理想的结果。因为实际数据往往分布得很不均匀,都会...转载 2019-02-23 20:21:21 · 222 阅读 · 0 评论 -
机器学习[L1和L2正则化]
原理:模型越复杂,越容易过拟合。因此,原先以最小化损失(经验风险最小化)为目标:现在以最小化损失和模型复杂度(结构风险最小化)为目标:通过降低复杂模型的复杂度来防止过拟合的规则称为正则化。 特点:L0:计算非零个数,用于产生稀疏性,但是在实际研究中很少用,因为L0范数很难优化求解,是一个NP-hard问题,因此更多情况下我们是使用L1范数L1:计算绝对值之和,用以产生...原创 2019-02-12 12:38:51 · 250 阅读 · 0 评论 -
机器学习[决策树]
决策树是什么?决策树是最简单的机器学习算法,它易于实现,可解释性强,完全符合人类的直观思维,有着广泛的应用。决策树到底是什么?简单地讲,决策树是一棵二叉或多叉树(如果你对树的概念都不清楚,请先去学习数据结构课程),它对数据的属性进行判断,得到分类或回归结果。预测时,在树的内部节点处用某一属性值(特征向量的某一分量)进行判断,根据判断结果决定进入哪个分支节点,直到到达叶子节点处,得到分类或回归结...原创 2019-02-07 23:25:49 · 432 阅读 · 0 评论 -
机器学习[Bootstrap、Bagging与随机森林概述]
摘要随机森林由多棵决策树组成,采用多棵决策树联合进行预测可以有效提高模型的精度。这些决策树用对训练样本集随机抽样构造出的样本集训练得到。由于训练样本集由随机抽样构造,因此称为随机森林。随机森林不仅对训练样本进行抽样,还对特征向量的分量随机抽样,在训练决策树时,每次寻找最佳分裂时只使用一部分抽样的特征分量作为候选特征进行分裂。集成学习集成学习(ensemble learning)是机器学...原创 2019-02-07 13:14:58 · 4487 阅读 · 0 评论 -
机器学习[k近邻算法]
k近邻算法简称kNN算法,由Thomas等人在1967年提出[1]。它基于以下思想:要确定一个样本的类别,可以计算它与所有训练样本的距离,然后找出和该样本最接近的k个样本,统计这些样本的类别进行投票,票数最多的那个类就是分类结果。因为直接比较样本和训练样本的距离,kNN算法也被称为基于实例的算法。最近邻算法是k近邻算法k=1时的一种特殊情况。基本概念确定一个样本所属类别的一种最简单的方法是...原创 2019-02-07 12:14:56 · 1481 阅读 · 0 评论 -
深度学习 [调参经验]
调参经验模型选择通常我会使用一个简单的CNN模型(这个模型一般包含5个卷积层)将数据扔进去训练跑出一个baseline,这一步工作主要是为了验证数据集的质量。如果这个模型训练结果很差就不要先调试模型,需要检查一下你的训练集数据,看看图像的质量,图像标签是否正确,模型的代码是否正确等等,否则就是在做无用功,毕竟:garbage in,garbage out。 超参数的选择调参是项技术...原创 2019-01-21 19:35:58 · 330 阅读 · 0 评论 -
机器学习 [合页损失函数 Hinge Loss]
函数特性在机器学习中,hinge loss是一种损失函数,它通常用于"maximum-margin"的分类任务中,如支持向量机。数学表达式为:其中 表示预测输出,通常都是软结果(就是说输出不是0,1这种,可能是0.87。), 表示正确的类别。如果 ,则损失为: 如果 ,则损失为:0其函数图像如下,与0-1损失对比: 优化以支持向量机为例,其模型为: ...原创 2019-01-20 15:41:46 · 2511 阅读 · 0 评论 -
机器学习 [交叉熵损失函数]
表达式二分类在二分的情况下,模型最后需要预测的结果只有两种情况,对于每个类别我们的预测得到的概率为p和1-p。此时表达式为:其中:y——表示样本的label,正类为1,负类为0 p——表示样本预测为正的概率多分类多分类的情况实际上就是对二分类的扩展:其中:M——类别的数量; y——指示变量(0或1),如果该类别和样本的类别相同就是1,否则是0; p——对...原创 2019-01-20 15:25:32 · 1174 阅读 · 0 评论 -
机器学习 [logistic函数和softmax函数]
简单总结一下机器学习最常见的两个函数,一个是logistic函数,另一个是softmax函数,若有不足之处,希望大家可以帮忙指正。本文首先分别介绍logistic函数和softmax函数的定义和应用,然后针对两者的联系和区别进行了总结1. logistic函数1.1 logistic函数定义 引用wiki百科的定义: A logistic function or logist...原创 2019-01-19 21:17:28 · 743 阅读 · 0 评论 -
支持向量机SVM [核函数和参数]
核映射与核函数通过核函数,支持向量机可以将特征向量映射到更高维的空间中,使得原本线性不可分的数据在映射之后的空间中变得线性可分。假设原始向量为x,映射之后的向量为z,这个映射为:在实现时不需要直接对特征向量做这个映射,而是用核函数对两个特征向量的内积进行变换,这样做等价于先对向量进行映射然后再做内积:在这里K为核函数。常用的非线性核函数有多项式核,高斯核(也叫径向基函数核,RB...转载 2019-01-19 11:42:12 · 8631 阅读 · 0 评论 -
机器学习基本概念[持续补充]
损失函数(loss function)与代价函数(cost function)等价,是一个意思: 用来度量一次预测错误的程度.比如常用的0-1损失函数,平方损失函数,绝对损失函数,对数损失函数(即对数似然损失函数).目标函数(object function)与风险函数等价,是一个意思: 度量平均意义下模型的好坏,如期望损失(损失函数的期望)或经验损失(训练集的平均损失)或结构风险(在经验风...原创 2019-01-19 10:11:18 · 164 阅读 · 0 评论 -
常用机器学习算法 [高斯混合模型 GMM]
高斯混合模型通过多个正态分布的加权和来描述一个随机变量的概率分布,概率密度函数定义为:其中x为随机向量,k为高斯分布的个数,w(i)为权重,u为高斯分布的均值向量,E为协方差矩阵。所有权重之和为1,即:任意一个样本可以看作是先从k个高斯分布中选择出一个,选择第i个高斯分布的概率为w(i),再由第i个高斯分布产生出这个样本数据x。高斯混合模型可以逼近任何一个连续的概率分布,因此可以看...原创 2019-01-18 20:25:12 · 751 阅读 · 0 评论 -
softmax的特征分布会呈放射状的原因
为直观了解softmax loss,在mnist数据集上训练了一个lenet模型作为例子。先将特征维降低到2,并画了10w个训练样本的2维特征在平面上,如图2所示。从图中可以看到,如果使用欧式距离作为度量方式,则f2与f1之间的距离比f2到f3的近很多,达不到好的效果。而同时可以看到,对于这些特征以角度进行划分的效果会比欧式距离和内积要好,所以之前很多都会采用余弦相似度作为度量方法...原创 2019-03-01 09:43:24 · 1632 阅读 · 0 评论