machine-learning
文章平均质量分 83
这题我会啊
人工智能基本人工
展开
-
机器学习----模型评估与选择
西瓜书阅读笔记 话不多说 开始吧~模型评估与选择评估留出法(hold out)将数据集划分为两个互斥集合/分层采样 dilemma:若训练集S包含绝大多数样本,则训练出的模型可能更接近用D训练出的模型,但由于T比较小,评估结果可能不够稳定准确;若T数目过多,则训练出的模型也不可靠。交叉验证(cross validation)D=D1∪D2∪……∪Dk Di∩Di=∅ 做k次实验,k-1次用于原创 2017-03-20 10:30:57 · 737 阅读 · 0 评论 -
机器学习----贝叶斯分类器(贝叶斯网络)
马尔可夫链马尔可夫链(Markov Chain)是指数学中具有马尔可夫性质的离散事件随机过程。该过程中,在给定当前知识或信息的情况下,过去(即当前以前的历史状态)对于预测将来(即当前以后的未来状态)是无关的。贝叶斯网络很多情况下,事物之间的相互联系并不能用一条链来串起来,很可能是交叉的、错综复杂的。这时候我们就用到了贝叶斯网络。 贝叶斯网络(Bayesian network)亦称“信念网络”(be原创 2017-04-13 16:35:10 · 4024 阅读 · 0 评论 -
机器学习----集成学习(Bagging和随机森林)
集成学习至此我们已经了解了许多机器学习的方法~但是都是单枪匹马的作战,这节我们讨论的集成学习(ensemble learning)是通过构建并结合多个学习器来完成学习任务。 个体学习器可以是弱学习器,所谓弱学习器,就是学习器的正确率不用太高,大于50%即可。 根据个体学习器的生成方式,目前的集成学习方法大致可分为两大类,即:个体学习器间不存在强依赖关系、可同时生成的并行化方法。代表就是Bagg原创 2017-04-18 21:35:29 · 1388 阅读 · 0 评论 -
机器学习----集成学习(Boosting)
Boosting是一族可将弱学习器提升为强学习器的算法。这族算法的工作机制类似: 先从初始训练集训练出一个基学习器,再根据基学习器的表现对训练样本分布进行调整,使得先前基学习器做错的样本在后面受到更多关注。AdaBoost一直觉得AdaBoost这个名字起得好呀,全拼是Adaptive Boosting;adaptive是适应的,适合额意思。但是世界上第一个程序媛不也叫Ada嘛~ haha~原创 2017-04-19 16:05:18 · 3583 阅读 · 0 评论 -
机器学习----支持向量机(核函数)
讲SVM扩展到非线性可分领域原创 2017-04-06 16:51:45 · 5065 阅读 · 0 评论 -
机器学习----支持向量机(软间隔与正则化)
支持向量机的软间隔和正则化,这节对机器学习的本质进行一个粗浅的探讨。原创 2017-04-06 19:23:17 · 2491 阅读 · 0 评论 -
机器学习----降维与度量学习(等度量映射和度量学习)
流行学习流行学习(manifold learning)是一类借鉴了拓扑流行概念的降维方法。“流行”是在局部与欧式空间同胚的空间。换言之,它在局部具有欧式空间的性质,能用欧式距离来进行距离计算。 这就很有灵性了!若低维空间能嵌入到高维空间中去,则可以很容易的进行降维。等度量映射等度量映射认为高维空间的直线距离,并不能很好的表现样本之间的距离。如下图所示: 高维空间中的AB直线距离并不准确,反而绿色原创 2017-05-04 21:31:16 · 2931 阅读 · 0 评论 -
机器学习----降维与度量学习(PCA)
思路主成分分析、Principal Component Analysis、PCA的推导有很多种途径,我们选择一种,容易理解的来讲解。我们的目的是降维,但是不能胡乱的降,观察下面这组数据: 我们画的是二维情况,但是具体到高维也是可以的。μ\mu是我们目测一个比较好的降维之后的投影方向。但是这只是目测,我们怎么规定这个准则呢?我们规定: 投影之后样本竟可能分散,即样本方差尽可能大。 推导样本点原创 2017-04-28 19:09:42 · 2227 阅读 · 0 评论 -
机器学习----降维与度量学习(k邻近学习)
kNNk邻近,k-Nearest Neighbor,kNN;是懒惰学习(lazy learning)的代表。所谓懒惰学习就是没有没有显式训练过程,只是把训练数据保存起来,用的时候直接再算出结果就行了。具体算法如下: 给定测试样本,基于某种距离度量找出训练集中与最靠近的k个训练样本,然后基于这k个“邻居”的信息来进行预测;若是分类问题就可以用投票法确定最后的结果,若是回归问题就可以用平局法。但是最后原创 2017-04-25 10:07:06 · 1848 阅读 · 0 评论 -
马氏距离+协方差公式+无偏估计
以下资源均来自互联网马氏距离与其推导马氏距离就是用于度量两个坐标点之间的距离关系,表示数据的协方差距离。与尺度无关的(scale-invariant),即独立于测量尺度。基本思想(intuition)如下图的过程(以两个维度作为例子),此例的数据重心为原点,P1,P2到原点的欧氏距离相同,但点P2在y轴上相对原点有较大的变异,而点P1在x轴上相对原点有较小的变异。所以P1点距原点的直观距离是比P2点转载 2017-07-12 22:08:50 · 11251 阅读 · 1 评论 -
机器学习中的损失函数
损失函数(loss function)是用来估量你模型的预测值f(x)与真实值Y的不一致程度,它是一个非负实值函数,通常使用L(Y, f(x))来表示,损失函数越小,模型的鲁棒性就越好。损失函数是经验风险函数的核心部分,也是结构风险函数重要组成部分。模型的结构风险函数包括了经验风险项和正则项,通常可以表示成如下式子:其中,前面的均值函数表示的是经验风险函数,L代表的是损失函数,后面转载 2017-07-21 09:01:55 · 485 阅读 · 0 评论 -
机器学习----贝叶斯分类器(朴素贝叶斯)
朴素贝叶斯分类器我们上节说到的贝叶斯分类器看似很完美,但是操作起来却很难,因为对于类条件概率P(x|c)P(x|c)来说,它涉及关于x所有属性的联合概率。假设样本的d个属性都是二值的,则样本空间就有2d2^d种可能性,在现实中,这个值往往大于训练样本数m,就是说,很多样本根本在样本中没有出现。为了解决这个问题,朴素贝叶斯分类器(naive Bayes classifier)采用了“属性条件独立性假设原创 2017-04-13 14:38:40 · 856 阅读 · 0 评论 -
机器学习----支持向量机(求解)
上次我们说到SVM化解成下面的无约束优化问题,本节看看怎么求解这个问题原创 2017-04-05 10:30:52 · 702 阅读 · 0 评论 -
机器学习----绪论
西瓜书阅读笔记 话不多说 开始吧~绪论为啥有机器学习?在计算机系统中,“经验”通常以“数据”形式存在,因此,机器学习所研究的主要内容,是关于在计算机上从数据中产生“模型”的算法。学习任务有哪些问题种类?“分类” classification: 预测值为离散值 “回归” regression:预测值为连续值学得模型适用于新样本的能力,称为“泛化”(generalization)能力。具有强泛化能力的原创 2017-03-20 08:55:39 · 570 阅读 · 1 评论 -
机器学习----线性模型
西瓜书阅读笔记 话不多说 开始吧~线性模型线性回归原创 2017-03-20 15:42:41 · 583 阅读 · 0 评论 -
机器学习----决策树前篇(熵)
我们这里说的熵(Entropy)是信息熵,是香农提出的,不是克劳修斯提出的,那是物理学里的。原创 2017-03-22 20:43:06 · 1167 阅读 · 0 评论 -
机器学习----决策树
机器学习 决策树原创 2017-03-23 15:53:20 · 580 阅读 · 0 评论 -
机器学习----支持向量机(引入)
SVM的引入原创 2017-03-31 17:03:49 · 469 阅读 · 0 评论 -
机器学习----神经网络(一)Jacobian矩阵和Hessian矩阵
Jacobian矩阵和Hessian矩阵转载 2017-03-24 16:08:03 · 6392 阅读 · 1 评论 -
机器学习----神经网络(二)BP算法
神经网络学习算法误差逆传播(error BackPropagation,简称BP)原创 2017-03-25 10:55:28 · 1186 阅读 · 0 评论 -
机器学习----贝叶斯分类器(判别模型和生成模型)
判别模型和生成模型数学表述监督学习方法分 判别方法(Discriminative Approach) 和 生成方法(Generative Approach),所学到的模型分别称为 判别模型(Discriminative Model) 和 生成模型(Generative Model)。所谓判别模型模型是直接判别测试用例所属的类别,即直接对p(y|x)p(y|x)进行建模,例如logistic regr原创 2017-04-11 16:28:38 · 2465 阅读 · 0 评论 -
机器学习----贝叶斯分类器(贝叶斯决策论和极大似然估计)
贝叶斯决策论贝叶斯决策论(Bayesian decision theory)是概率框架下实施决策的基本方法。在所有相关概率都已知的理想情况下,贝叶斯决策论考虑如何基于这些概率和误判断来选择最优的类别标记。原创 2017-04-12 15:21:06 · 6685 阅读 · 0 评论 -
机器学习----支持向量机(对偶)
上节说到我们把SVM抽象成了二次规划问题,这节看看变成对偶问题,降低求解复杂度原创 2017-04-01 12:38:07 · 815 阅读 · 0 评论 -
白化whitening
白化whitening原文地址:http://blog.csdn.net/hjimce/article/details/50864602作者:hjimce一、相关理论 白化这个词,可能在深度学习领域比较常遇到,挺起来就是高大上的名词,然而其实白化是一个比PCA稍微高级一点的算法而已,所以如果熟悉PCA,那么其实会发现这是一个非常简单的算法。 白化转载 2017-08-11 09:12:15 · 445 阅读 · 0 评论