![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习算法
文章平均质量分 78
JiYH
本科在读
展开
-
机器学习:局部加权线性回归(Locally Weighted Linear Regression)
线性回归先复习一下线性回归的损失函数:我们的目标是使该函数最小,用矩阵表示为:对参数w求导得:令上式等于0可估计出回归系数w得最优解:但线性回归往往容易欠拟合,除了使用更复杂得函数拟合,还可以使用局部加权线性回归(locally weighted linear regression)局部加权线性回归(LWLR)在该算法中我们给待预测点附件得每个点赋予一定的权重,即在计算时我们更关注附近的数据,离的远的数据就不管了。常使用高斯核来给数据点赋权重高斯核回归系数举个例子我们要拟合原创 2022-04-14 09:34:05 · 4405 阅读 · 0 评论 -
机器学习:决策树(Decision Tree)--ID3算法
决策树的主要算法构建决策树的关键:按照什么样的次序来选择变量(属性/特征)作为分类依据。根据不同的目标函数,建立决策树主要有以下三种算法ID3(J.Ross Quinlan-1975) 核心:信息熵,信息增益C4.5——ID3的改进,核心:信息增益比/增益率CART(Breiman-1984),核心:基尼系数ID3算法由Ross Quinlan在1986年提出,ID3决策树可以有多个分支,但是不能处理特征值为连续的情况,根据“最大信息熵增益”选取当前最佳的特征来分割数据。原创 2022-03-02 22:17:34 · 6787 阅读 · 0 评论