机器学习
文章平均质量分 95
Jack-Curry
数据挖掘 机器学习 人工智能 机器人
展开
-
机器学习(一)------KNN算法
一.K-近邻算法 1.距离的度量: 1.2 k值的选择: 1.3 分类决策规则: 二.kd树: 3.2:平衡kd树: 3.2.2:搜索kd树: 3.3用kd树的最近邻搜索: 4.KNN总结: 5.具体流程: k-近邻算法的一般流程 (1) 收集数据:可以...原创 2018-08-09 20:27:57 · 215 阅读 · 2 评论 -
机器学习(五)------最大熵模型
1.最大熵原理: 2.最大熵模型的学习: 第一步: 第二步: 第三部:求导得到: ...原创 2018-09-06 18:01:39 · 166 阅读 · 0 评论 -
L1与L2正则化
强烈推荐看此博客:很好很全面的博客 一、 奥卡姆剃刀(Occam’s razor)原理: 在所有可能选择的模型中,我们应选择能够很好的解释数据,并且十分简单的模型。从贝叶斯的角度来看,正则项对应于模型的先验概率。可以假设复杂模型有较小的先验概率,简单模型有较大的先验概率。 二、正则化项 2.1、什么是正则化? 正则化是结构风险最小化策略的实现...原创 2018-09-05 18:05:29 · 195 阅读 · 0 评论 -
梯度下降和牛顿法的区别
1.牛顿法和梯度下降: https://blog.csdn.net/pupilxmk/article/details/80735599 https://blog.csdn.net/qq_28739605/article/details/80862810 最速下降:https://blog.csdn.net/chunyun0716/article/details/51530700 随机梯度下...原创 2018-09-05 17:48:08 · 585 阅读 · 0 评论 -
机器学习(四)------逻辑斯特回归
1.LR的原理: 逻辑回归模型 虽然逻辑回归姓回归,不过其实它的真实身份是二分类器。介绍完了姓,我们来介绍一下它的名字,逻辑斯蒂。这个名字来源于逻辑斯蒂分布: 逻辑斯蒂分布 设X是连续随机变量,X服从逻辑斯蒂分布是指X具有下列的分布函数和密度函数: ...原创 2018-09-05 17:20:48 · 1115 阅读 · 0 评论 -
树模型
简介 基于树的学习算法被认为是非监督学习方法中最好的并且是最常用的方法之一。基于树的方法使得模型的精确率很高,很稳定和容易解释。与线性模型不同,基于树的模型能够很好地表达非线性关系,它适合用来解决我们遇到的任何问题(分类和回归问题)。 决策树、随即森林、梯度提升等方法在各种数据科学问题中被广泛使用, 因此对于每一个数据分析人员(以及数据新手),学习使用这些算法并使用它们进行建模是非常重要的。 ...转载 2018-09-08 17:34:58 · 980 阅读 · 0 评论 -
机器学习(七)------集成学习
一 集成方法 集成方法(ensemble method)通过组合多个基分类器(base classifier)来完成学习任务,颇有点“三个臭皮匠顶个诸葛亮”的意味。基分类器一般采用的是弱可学习(weakly learnable)分类器,通过集成方法,组合成一个强可学习(strongly learnable)分类器。所谓弱可学习,是指学习的正确率仅略优于随机猜测的多项式学习算法;强可学习指正确率较...原创 2018-09-08 09:58:03 · 298 阅读 · 0 评论 -
机器学习(三)------朴素贝叶斯法
一.概念: 朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。首先学习贝叶斯理论。 二.贝叶斯理论 : 1 贝叶斯决策理论 假设现在我们有一个数据集,它由两类数据组成,数据分布如下图所示: 我们现在用p1(x,y)表示数据点(x,y)属于类别1(图中红色圆点表示的类别)的概率,用p2(x,y)表示数据点(x,y)属于类别2(图中蓝...原创 2018-09-04 18:01:32 · 571 阅读 · 1 评论 -
手撕极大似然
本文作者: nebulaf91 本文原始地址:http://blog.csdn.net/u011508640/article/details/72815981 最大似然估计(Maximum likelihood estimation, 简称MLE)和最大后验概率估计(Maximum a posteriori estimation, 简称MAP)是很常用的两种参数估计方法,如果不理解这两种方法的...转载 2018-08-11 17:16:31 · 122 阅读 · 0 评论 -
机器学习(二)------决策树
1.决策树: 1.1:什么是决策树? 答:决策树是一种分类和回归的基本模型,可从三个角度来理解它,即: 一棵树 if-then规则的集合,该集合是决策树上的所有从根节点到叶节点的路径的集合 定义在特征空间与类空间上的条件概率分布,决策树实际上是将特征空间划分成了互不相交的单元,每个从根到叶的路径对应着一个单元。决策树所表示的条件概率分布由各个单元给定条件下类的条件概率分布组成。实际中...原创 2018-08-10 10:18:21 · 336 阅读 · 0 评论 -
机器学习(六)------手撕SVM
一.支持向量机简介: 支持向量机是一种二分类模型。 他的基本模型是定义在特征空间上的间隔最大化的分类器,间隔最大化有别于感知机。 支持向量机还有核技巧,使他成为实质上的非线性分类器。 支持向量机的学习策略就是间隔最大化,可化为一个求解凸二次规划问题,也等价于正则化的合页 损失函数最小化 问题。 分为: 线性可分支持向量机(硬间...原创 2018-09-07 16:57:47 · 999 阅读 · 0 评论