机器学习笔记
文章平均质量分 83
复杂混沌
这个作者很懒,什么都没留下…
展开
-
CRF模板详解
CRF原创 2023-01-29 21:46:32 · 239 阅读 · 1 评论 -
CNN-卷积核大小是奇数的原因
CNN 卷积核大小是奇数的原因原创 2022-10-26 20:07:29 · 1341 阅读 · 1 评论 -
机器学习笔记_关于贝叶斯分类中特征是连续属性的处理
前言机器学习笔记-朴素贝叶斯分类这篇文章中已经对朴素贝叶斯分类器做了详细的介绍,从原理,模型和例题各方面介绍了朴素贝叶斯。但是那篇文章中针对的全部都是离散属性,并没有说明如何处理连续属性。本文给出贝叶斯分类处理连续属性的方法。连续特征 连续属性,即连续的数值,且数值之间存在顺序关系,即1,2,3等等,这种属性称为连续属性,在常规的机器学习任务中,连续属性要比离散属性更好处理,例如在GBDT中,对类别属性处理起来非常麻烦,因为梯度提升树是基于顺序切割最优点的,所以不适合类别数据。这里有个很容易弄混的原创 2022-03-27 10:47:59 · 3225 阅读 · 1 评论 -
机器学习笔记-最大熵模型
最大熵 在学习最大熵模型前,我们需要知道熵是什么,在前面决策树那一节,我们介绍了决策树在选择特征时所采用的三种策略:信息增益、信息增益比和基尼指数,其中信息增益和信息增益比都是基于熵计算的,在那里介绍了熵是表示随机变量不确定性的度量,如果设随机变量XXX的概率分布为:P(X=xi)=pi, i=1,2,⋯ ,nP(X=x_i)=p_i,\,\,\,\,\,i=1,2,\cdots,nP(X=xi)=pi,i=1,2,⋯,n则随机变量XXX的熵定义为:H(X)=−∑i=1npilogp原创 2022-03-26 19:27:57 · 1481 阅读 · 0 评论 -
机器学习笔记-朴素贝叶斯分类
前言 前面一段时间整理了很多关于树模型的文章,而接下来的篇章,主要是介绍关于概率模型的知识。 在这章中,将会出现各种各样新的名词,例如朴素贝叶斯、贝叶斯估计、极大似然估计等等,这些都是概率模型最基本的知识点,也是重中之重的基础部分。深入理解朴素贝叶斯 将朴素贝叶斯拆解为两个不相关的名词:朴素 和 贝叶斯。为了更好的理解这两个概念,我们先来了解一些概率论的基础知识。1.贝叶斯定理 朴素贝叶斯是基于贝叶斯定理提出的,那么贝叶斯定理又是由什么组成的呢? 为了解决这个问题,我们先了解几个专业原创 2022-03-26 00:15:11 · 339 阅读 · 0 评论 -
机器学习笔记-有关ReLU非线性的理解
如果单独看一个ReLU激活函数,那它就是线性的,但是这种激活函数在多层的神经网络中却是非线性的。在简单的三层神经网络中,我们一般使用Sigmoid函数或者Tanh函数作为激活函数,这是因为当神经网络的层数较少时,少量的ReLU训练出来的网络拟合能力可能并没有Sigmoid函数好。但是在深度神经网络中,网络层的层数高达数百数千层,在这么多层的情况下再去使用Sigmoid函数作为激活函数就会大大减慢运行速率,并且还可能存在梯度消失的情况,所以在深度神经网络中使用ReLU函数要比Sigmoid函数好。至于为什么原创 2022-03-10 15:57:13 · 2339 阅读 · 0 评论 -
机器学习笔记-激活函数关于零点对称问题
前言 激活函数值域关于零对称的问题在激活函数那篇文章中未详细介绍,在那里说到,当激活函数的值域不关于0点对称,会导致梯度下降的速度下降,关于这一点,过去我只是将其记下,却并未理解背后的原因。此篇谈谈背后的原因。要探讨为什么Sigmoid函数会影响学习效率这个问题,需要找到影响梯度的因素。权重更新 深度学习一般的学习方法是反向传播,简单来说,就是通过链式法则,求解全局损失函数LLL对某一参数www的偏导数,而后乘以学习率,向梯度的反方向更新参数www,更新公式可以表示为:w<−w−η⋅∂L原创 2022-03-09 15:51:18 · 862 阅读 · 0 评论 -
机器学习笔记-激活函数
前言本文是对升级网络中常见的激活函数的一个总结,我们会介绍各种激活函数的基本形式和优缺点等。什么是激活函数激活函数可以说是神经网络的基础,假设默认你已经了解过神经网络的基础结构,那么...原创 2022-03-09 14:50:38 · 2798 阅读 · 0 评论 -
机器学习笔记-相关与回归分析
前言相关与回归分析是分析变量之间关系的统计方法,本章只介绍简单的相关分析和一元线性回归。变量间关系的度量变量之间存在的不确定的数量关系,称为相关关系即当给定一个自变量xxx,其对应的因变量yyy值可能有好几个,这种关系不确定的变量显然不能用函数关系来描述,但也不是没有规律可循,相关分析就是分析这类数据的方法。相关系数相关系数是反映两个数值变量之间关系的指标。对于数值变量xxx和yyy,我们可以通过散点图来判断两个变量之间是否有相关关系,并对这种关系进行大致的描述,但是没法给出定量的描述,因此需原创 2022-03-04 16:51:56 · 3125 阅读 · 0 评论 -
机器学习笔记-假设检验
前言假设检验是推断统计的一项重要内容,它是先对总体参数提出一个假设值,然后利用样本信息来判断这个假设是否成立。本章主要介绍了假设检验的基本原理和如何针对不同的数据集选择合适的检验方法。假设检验的基本原理基本概念假设检验先对总体参数提出某种假设,然后利用样本信息来判断假设是否成立的统计方法,称为假设检验假设一般包含两种假设:原假设和备择假设。研究者想搜集证据和资料来推翻的假设称为原假设,用H0H_0H0,而备择假设是研究者心里面所支持的假设,通常用H1H_1H1表示。而假设检验的第一步,就是明原创 2022-03-03 13:01:46 · 2276 阅读 · 0 评论 -
机器学习笔记-数据的图表展示
统计图表类别数据条形图:条形图是用宽度相同的条形来展示各类频数的图形;帕累托图:帕累托图将各类别数据出现的频数按从大到小排序后绘制的条形图;饼图:饼图是用圆形及园内扇形的角度来表示一个样本(或总体)中各类别的频数占总频数数比例大小的图形;环形图:环形图可以显示多个样本各类别频数占其相应总频数的比例;数值数据直方图:直方图是用来展示数值数据分布的一种常用图形;箱型图:用来反映一组数据的分布;其它图形散点图:用二维坐标中两个变量各取值点的分布展示变量之间的关系图形;气泡图:气泡图原创 2022-03-02 13:48:13 · 901 阅读 · 0 评论 -
机器学习笔记-层次聚类
前言 层次聚类和K-means聚类以及DBSCAN聚类又截然不同。层次聚类的核心思想是试图在不同层次对数据集进行划分,形成树形的结构。本章主要介绍层次聚类的思想,算法具体步骤和Matlab编程实践。算法原理 层次聚类有两种思路:自底向上和自顶向下,这两种思路带来的是两种不同的算法。本文主要介绍AGNES(自底向上)。 自底向上如果从树状图中看,就是从树的最底端不断向上搜索。先将数据集中的每个样本看作一个初始聚类簇(如果有NNN个样本点,则初始时有NNN个簇),然后在算法运行的每一步中找到距离最原创 2022-03-01 16:21:29 · 1337 阅读 · 0 评论 -
机器学习笔记-密度聚类_DBSCAN
密度聚类:DBSCAN 前面一节介绍了K-means聚类算法,但是K-means算法不能解决非球形的簇和不同大小的,比如说下面这种情况 如果使用K-means来对上述样本进行聚类,那么肯定没法运行,因为笑脸的外围轮廓是圆形,如果使用K-means算法这一圈一定不会聚类成一类。如果遇到这种情况,就需要引入一个新的算法:密度聚类 密度聚类顾名思义就是基于密度的聚类,在了解密度聚类前,我们需要先明白一些定义。给定数据集D={x1,x2,⋯ ,xm}D = \{x_1,x_2,\cdots,x_m原创 2022-02-28 19:36:03 · 646 阅读 · 0 评论 -
机器学习笔记——Kmeans聚类
Kmeans+手肘法+轮廓系数法原创 2022-02-07 00:34:33 · 1032 阅读 · 0 评论 -
机器学习笔记-随机森林调参
随机森林调参原创 2022-01-24 15:16:17 · 1947 阅读 · 0 评论 -
机器学习笔记-Adaboost调参
Adaboost调参原创 2022-01-24 14:16:07 · 7426 阅读 · 0 评论 -
机器学习笔记-Adaboost
Adaboost笔记原创 2022-01-23 23:36:02 · 261 阅读 · 0 评论 -
机器学习笔记-决策树调参思路
决策树调参笔记原创 2022-01-23 17:04:01 · 3594 阅读 · 0 评论 -
机器学习笔记-初学集成模型与随机森林
认识集成学习原创 2022-01-23 15:49:58 · 469 阅读 · 0 评论 -
机器学习笔记-决策树
决策树介绍原创 2022-01-23 10:26:01 · 417 阅读 · 0 评论 -
机器学习笔记-SMO序列最小最优化算法中关于解析方法的证明
SMO序列最小最优化算法的相关证明原创 2022-01-16 21:34:49 · 557 阅读 · 0 评论 -
机器学习笔记-SMO序列最小最优化算法
SMO序列最小最优算法原创 2022-01-16 20:15:01 · 594 阅读 · 0 评论 -
机器学习笔记-理解支持向量机拉格朗日函数+对偶问题+KKT条件
理解支持向量机拉格朗日函数+对偶问题+KKT条件原创 2022-01-16 09:27:45 · 1119 阅读 · 0 评论 -
机器学习笔记-支持向量机
支持向量机原创 2022-01-15 14:35:57 · 549 阅读 · 0 评论 -
机器学习笔记-非线性支持向量机实现
MATLAB实现非线性支持向量机原创 2022-01-15 13:38:08 · 519 阅读 · 0 评论 -
机器学习笔记-线性不可分支持向量机的实现
线性不可分支持向量机MATLAB实现原创 2022-01-15 10:19:43 · 761 阅读 · 0 评论 -
机器学习笔记-线性可分支持向量机的实现
使用MATLAB实现线性可分支持向量机原创 2022-01-14 16:52:49 · 489 阅读 · 0 评论 -
机器学习笔记-KNN分类
KNN分类算法原创 2022-01-13 22:20:42 · 424 阅读 · 0 评论 -
机器学习笔记-感知机对偶形式
感知机对偶形式原创 2022-01-13 11:38:15 · 2527 阅读 · 0 评论 -
机器学习笔记-感知机
感知机-梯度下降法原创 2022-01-12 22:41:14 · 411 阅读 · 0 评论 -
机器学习笔记-逻辑回归
使用梯度下降法和牛顿法实现逻辑回归原创 2022-01-12 18:31:43 · 241 阅读 · 0 评论 -
机器学习笔记-阻尼牛顿法
牛顿法的改进原创 2022-01-12 14:38:33 · 3757 阅读 · 0 评论 -
机器学习笔记-牛顿法搜索方向的相关证明
牛顿法的搜索方向并不都是朝着目标函数值下降的方向的原创 2022-01-11 19:51:24 · 2570 阅读 · 0 评论 -
机器学习笔记-牛顿法
牛顿法原创 2022-01-11 19:13:36 · 1020 阅读 · 2 评论 -
机器学习笔记-梯度下降法
机器学习-梯度下降法原创 2022-01-09 23:32:26 · 1356 阅读 · 1 评论