机器学习ML
文章平均质量分 89
HeartFireY
可能是ACMer、JXNU计算机科学协会前会长
展开
-
线性模型-优化方法及推导过程
线性模型(Linear Model)是机器学习中应用最广泛的模型,指通过样本特征的线性组合来进行预测的模型。给定一个DDD维的样本特征的线性组合来进行预测的模型,给定一个DDD维样本x=[x1,x2,…,xD]⊤x = [x_1, x_2, \dots, x_D]^{\top}x=[x1,x2,…,xD]⊤,其线性组合函数为:f(x;w)=w1x1+w2x2+⋯+wDxD+b=w⊤x+b\begin{aligned}f(\mathcal{x}; \mathcal{w}) &= w_1x_1 +原创 2022-12-22 20:24:07 · 2018 阅读 · 0 评论 -
Jensen不等式(琴生不等式)
Jensen不等式,又名琴森不等式或詹森不等式(均为音译)。它是一个在描述积分的凸函数值和凸函数的积分值间的关系的不等式。Jensen不等式的定义公式:若f(x)f(x)f(x)为区间[a, b]上的下凸函数,则对任意的x1,x2,x3,…,xn∈[a,b]x1,x2,x3,…,xn∈[a,b]∑i=1nf(xi)n≥f(∑i=1nxin)n∑。原创 2022-11-25 21:34:55 · 6493 阅读 · 0 评论 -
机器学习 3.2 决策树模型 学习笔记(待补)
决策树模型将思维过程抽象为一系列对已知数据属性的判别和决策过程,使用树结构表示和判别的逻辑和关系和一系列的判别过程,并通过叶节点表示判别或决策结果。如上图所示,一颗树上的叶节点全部表示最终结果,而非叶节点表示每个决策的点,也就是对样本某一属性的判别。不难发现决策树是一个外向树模型,每个内部节点都将直接或间接的影响决策的最终结果。从根节点到某一叶节点的的路径称为测试序列。我们可以将决策树模型的构造过程描述为如下的过程:构造决策树的关键在于合理选择其颞部节点所对应的样本属性,使得节点所对应样本子集中的样本尽可能原创 2022-07-01 09:49:36 · 365 阅读 · 0 评论 -
机器学习 3.2 决策树模型 学习笔记(待补)
3.2.1 模型结构决策树模型将思维过程抽象为一系列对已知数据属性的判别和决策过程,使用树结构表示和判别的逻辑和关系和一系列的判别过程,并通过叶节点表示判别或决策结果。如上图所示,一颗树上的叶节点全部表示最终结果,而非叶节点表示每个决策的点,也就是对样本某一属性的判别。不难发现决策树是一个外向树模型,每个内部节点都将直接或间接的影响决策的最终结果。从根节点到某一叶节点的的路径称为测试序列。我们可以将决策树模型的构造过程描述为如下的过程:根据某种分类规则得到最优的划分特征,计算最优特征子函数,并创原创 2022-05-21 15:25:29 · 512 阅读 · 4 评论 -
机器学习 3.1 监督学习-线性模型(线性回归,线性分类) 学习笔记
关于线性模型基本结构、线性回归问题、线性判别分析问题的内容详解以及推导原创 2022-05-20 22:19:14 · 803 阅读 · 0 评论 -
机器学习 2.1.1 最小二乘估计
最小二乘估计是一种基于误差平方和最小化的参数估计方法。对于线性模型,其最小估计量是一种具有最小方差的无偏估计量,由最小二乘法求得的参数估计值是最优估计量,此外,最小二乘法计算简单、易于理解且具有良好的实际意义。如前所述,对于任意一个给定的示例XXX,可将其表示为表征向量或特征向量的形式。不失一般性,将样本集合中的每个示例看作分别看作一个特征向量。假设训练样本集为:S={(X1,y1),(X2,y2),…,(Xn,yn)}S = \{(X_1, y_1), (X_2, y_2), \dots, (X_n原创 2022-03-13 23:31:32 · 5234 阅读 · 0 评论 -
神经网络1.1 感知机模型(神经元模型)
1.激活函数1.1 Sigmoid函数Sigmoid 是常用的非线性的激活函数,表达式如下:f(x)=11+e−xf(x) = \frac{1}{1 + e^{-x}}f(x)=1+e−x1特性:它能够把输入的连续实值变换为000和111之间的输出,特别的,如果是非常大的负数,那么输出就是000;如果是非常大的正数,输出就是111.缺点:在深度神经网络中梯度反向传递时导致梯度爆炸和梯度消失,其中梯度爆炸发生的概率非常小,而梯度消失发生的概率比较大。1.2 tanh函数tanh函数也是原创 2022-03-13 20:36:43 · 2183 阅读 · 2 评论 -
ML1.1 机器学习误差分析
1.误差、损失函数1.1 误差模型的输出结果会和其对应的真实值之间往往会存在一些差异,该种差异称为该模型的输出误差,简称为误差。1.2 损失函数为了便于误差分析,通常需要构造某种函数用于度量模型对单个样本的输出误差,这样的函数被称为损失函数。具体的说,对于给定的机器学习模型fff,假设该模型对应于输入样本XXX的输出为y^=f(X)\hat{y} = f(X)y^=f(X),与XXX相对应的实际真实值为yyy,则可以用yyy和f(x)f(x)f(x)为自变量的某个函数L(y,f(X))L(y, f原创 2022-03-12 22:54:04 · 3197 阅读 · 1 评论 -
随机过程、马尔可夫链 详解
学校的概率统计课程没有讲到这一部分的内容,但是又比较重要,因此来填个小坑PS:参考 概率论与数理统计 第五版 浙大 盛骤 谢式千 潘承毅、Blibili@FunInCode一、随机过程1.概念用TTT表示一无限实数集,我们把依赖于参数t∈Tt \in Tt∈T的一族随机变量{Xt,t∈T}\{X_t, t \in T\}{Xt,t∈T},称为随机过程。参数集:把TTT(无限实数集)称为参数集状态:通常把t∈Tt \in Tt∈T看作时间,称对XtX_tXt的观察值xxx为ttt时过程的状.原创 2022-01-22 20:18:37 · 3452 阅读 · 0 评论 -
机器学习-监督学习概论
笔记摘自李航《统计学习方法》监督学习是指从标注数据中学习预测模型的的机器学习问题,标注数据通常表示输入输出的对应关系,预测模型对给定的输入产生相应的输出,监督学习的本质是输入到输出的映射的统计规律。(1).输入空间、特征空间和输出空间在监督学习中,将输入与输出所有可能取值的集合分别称为输入空间和输出空间,输入与输出空间可以是有限元素的集合,也可以是整个欧式空间。输入空间和输出空间可以是同一个空间,也可以是不同的空间,但通常输出空间远远小于输入空间每个具体的输入是一个实例,通常由特征向量表示。.原创 2022-01-21 00:31:48 · 1466 阅读 · 0 评论