![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
自己动手学机器学习
文章平均质量分 91
记录、总结、分享、复习、增进机器学习相关知识。
FeatherWaves
这个作者很懒,什么都没留下…
展开
-
西瓜书学习——决策树形状、熵和决策树的本质
在决策树中,我们没有显式的梯度概念,但可以类比地引入“梯度”的概念,即信息增益(Information Gain),它衡量的是分割前后数据集信息熵的减少量。现在,如果我们考虑一个不公平的骰子,其中某个面出现的概率更高,那么这个面的信息量就会减少(因为你已经预期它更可能出现),从而降低整个系统的熵。总结来说,决策树的本质是一种基于总信息熵的损失函数,通过信息增益来选择最优特征进行分割的梯度下降路径,它是一种灵活的非参数模型,可以捕捉数据中的复杂关系。信息熵是由香农提出的,用于衡量一个随机变量的不确定性。原创 2024-04-29 23:22:15 · 760 阅读 · 2 评论 -
西瓜书学习——线性判别分析
线性判别分析(Linear Discriminant Analysis,简称LDA)是一种常用的监督学习降维技术,主要应用于模式识别和机器学习领域。LDA的核心思想是将高维的数据投影到低维空间,使得投影后的数据在同一类内部尽可能紧凑,不同类之间尽可能分离,从而达到分类的目的。原创 2024-04-26 22:00:43 · 991 阅读 · 0 评论 -
西瓜书学习——线性回归
fxw1x1w2x2...wdxdbfxwTxbw 和 b 可以通过学习得到。原创 2024-04-20 23:28:46 · 942 阅读 · 1 评论 -
西瓜书学习——对数几率回归
对数几率回归(Logistic Regression)是一种广泛应用于分类问题的统计方法,特别是用于二分类问题。尽管它的名字中包含“回归”,但它实际上是一种分类算法,用于估计一个样本属于某个类别的概率。对数几率回归的核心是使用逻辑函数(Logistic Function),也称为 sigmoid 函数,将线性回归的输出映射到 0 和 1 之间的概率。在实际应用中,对数几率回归因其模型简单、易于解释和实现而被广泛使用。在训练过程中,对数几率回归模型通过最大化对数似然函数来估计参数。是线性回归模型的输出,即。原创 2024-04-23 22:46:57 · 901 阅读 · 0 评论 -
西瓜书学习——第一、二章笔记
研究关于“学习算法”(一类能从数据中学习出其背后潜在规律的算法)的一门学科PS:深度学习指的是神经网络那一类学习算法,因此是机器学习的子集。原创 2024-04-17 22:27:08 · 724 阅读 · 0 评论