![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 93
西皮呦
这个作者很懒,什么都没留下…
展开
-
【机器学习 & 西瓜书】期末复习笔记整理
监督学习(supervised learning)的任务是学习一个模型,使模型能够对任意给定的输入,对其相应的输出做出一个好的预测。后剪枝是先从训练集生成一棵完整的决策树,然后自底向上地对非叶结点进行考察,若将该结点对应的子树替换为叶结点能带来决策树泛化性能提升,则将该子树替换为叶结点。映射函数本身仅仅是一种映射关系,并没有增加维度的特性,不过可以利用核函数的特性,构造可以增加维度的核函数,这通常是我们希望的。方差:描述的是预测值的变化范围,离散程度,也就是离其期望值的距离。方差越大,数据的分布越分散。原创 2024-01-09 21:47:05 · 1652 阅读 · 1 评论 -
机器学习 | 概率图模型
见微知著,睹始知终。见到细微的苗头就能预知事物的发展方向,能透过微小的现象看到事物的本质,推断结论或者结果。概率模型为机器学习打开了一扇新的大门,将学习的任务转变为计算变量的概率分布。实际情况中,各个变量间存在显式或隐式的相互依赖,如朴素贝叶斯方法直接基于训练数据去求解变量的联合概率分布在时间复杂度还是空间复杂度均是不可行、不划算的。直接基于训练数据求解变量联合概率分布困难。Probabilistic Graphical Model,简称PGM,就是用图来表示变量概率间的依赖关系。原创 2023-12-22 00:02:20 · 841 阅读 · 0 评论 -
机器学习 | PCA 主成分分析 (Principal Ccnt Analysis)
举个栗子:降维分别投影到x、y轴的分布是不同的。右边显然好一点,正确反映了投影前的位置关系。但投影到 x 轴就是最好的嘛?显然不是。所以降维操作要做的就是找到一条轴,将所有点投影到这条轴上,使得投影后的间距最大。这就是我们要寻找的 主元,就是投影轴。那用数学语言怎么表示呢?此时就必须借助线性代数这个工具了,其实线性代数要解决的就是在高维空间中如何描述数据以及这些数据之间的运算。原创 2023-12-20 21:48:01 · 1080 阅读 · 0 评论 -
机器学习 | 聚类Clustering 算法
物以类聚人以群分。什么是聚类呢?原创 2023-12-20 09:48:25 · 1330 阅读 · 0 评论 -
机器学习 | 集成学习
前面讲的都是数据抽取的内容,本质上是想训练多个不同的模型进行集成。原创 2023-12-19 16:25:25 · 1545 阅读 · 0 评论 -
机器学习 | 贝叶斯方法
不同于KNN最近邻算法的空间思维,线性算法的线性思维,决策树算法的树状思维,神经网络的网状思维,SVM的升维思维。贝叶斯1方法强调的是 先后的因果思维。判别式数据对于数据分布特别复杂的情况,比如文本图像视频;而生成式模型对于数据有部分特征缺失的情况下效果更好,而且更容易添加数据的先验知识 p(x)原创 2023-12-19 14:44:46 · 1128 阅读 · 0 评论 -
机器学习 | SVM支持向量机
当m非常大的时候,高斯核的运算效率其实很低,但当m并不大甚至小于n的时候,使用核函数就会变得非常高效了。注意此处的距离和线性模型中的距离不同,线性模型中的距离是 yhat-y (斜边)但此时的w b和一开始推到时的w b,理论上已经不是同一个数了。大大减少了计算量,尤其是对于高维向量的相乘操作,同时也不需要额外存储中间的结果。当特征数少,样本数很大,建议选择多项式核函数,切记阶数不能过高,否则复杂度过高,难以计算。假定现在有m个维度为n的数据,则高斯核就可以将其映射成mxm维的数据。其实就可以看成正则化。原创 2023-12-18 21:48:55 · 1212 阅读 · 0 评论 -
机器学习 | 线性算法 —— 大禹治水
如果说KNN算法体现了人们对空间距离的理解,那么线性算法则体现了人们对事物趋势上的认识。注意图中横纵坐标的不同。线性回归、多项式回归多用于预测,逻辑回归多用于分类。回归就是 找条 “线"。看这条线本身便是回归任务,看这条线的两边便是分类任务。原创 2023-12-17 18:41:00 · 995 阅读 · 0 评论 -
机器学习 | 过拟合与正则化、模型泛化与评价指标
若要拟合sinx,泰勒认为仿造一条曲线,首先要保证在原点重合,之后在保证在这个点处的倒数相同,导数的倒数相同。这使得L2正则,相对而言,是鼓励产生小而分散的权重,考虑更多的特征,而不仅仅是依赖某几个特征,因此可以增强模型泛化能力。总的来说,正则项相当于给最小化增加了空间的约束,限制了模型的复杂度,因而可以很好解决过拟合问题。等值线与圆的任何部分相交的概率都是相同的,所以交点会尽量靠近坐标轴中间的位置。为了防止过拟合,就要控制高次项的个数 n ,可以通过控制wn的个数来实现。过拟合的真相 —— 高次项过多。原创 2023-12-16 21:42:55 · 237 阅读 · 0 评论 -
机器学习 | 决策树 Decision Tree
把特征空间划分区域每个区域拟合简单模型分级分类决策。原创 2023-12-17 13:13:22 · 1336 阅读 · 1 评论 -
机器学习 | KNN算法
为了消除数据特征量纲之间的影响,使得不同指标具有一定程度的可比性,能够同时反应每个指标的重要程度。适用于数据分布在有限范围的情况。但受特殊数值影响很大。不是用测试集的均值和标准差,而是用训练集的!人为设置的参数 / 经验值 / 参数搜索。简单来讲,就是统一坐标轴比例。距离决定一切、民主集中制。分类表决与加权分类表决。1. 计算新样本点与已知样本点的距离。4. 距离最近的k个点投票。近朱者赤,近墨者黑!注意要重新赋值给X!原创 2023-12-14 21:46:26 · 1222 阅读 · 0 评论 -
机器学习 | 机器学习基础知识
聚类 —— K均值算法 K-means、密度聚类 DBSCAN、最大期望算法。关联规则学习 —— 挖掘特征间关联关系,Apriori方法、Eclat方法。多标签分类问题:标签间不互斥,概率和不为1。计算机从数据中学习规律并改善自身进行预测的过程。观测环境、估计状态、执行操作、获得回报或惩罚。降维 —— 主成分分析 PCA、核方法。二分类:垃圾邮件分类、图像识别等。少量标记学习,大量无标记数据。多分类问题:鸢尾花分类问题。先记住训练实例,相似度计算。需要大量的时间和计算资源。2、结构化数据与非结构化数据。原创 2023-12-14 19:31:02 · 807 阅读 · 0 评论 -
机器学习 | 决策树算法
决策树:从根节点开始一步步走到叶子节点(决策)。所有的数据最终都会落到叶子节点,既可以做分类也可以做回归。根节点:第一个选择点非叶子节点与分支:中间过程叶子节点:最终的决策结果一旦构造好了决策树,那么分类或者预测任务就很简单了,只需要走一遍 就可以了,那么难点就在于如何构造出来一颗树,这就没那么容易了,需要考虑的问题还有很多的!原创 2023-10-29 21:29:04 · 1492 阅读 · 4 评论