机器学习之聚类/回归
文章平均质量分 69
人工智能入门,包含机器学习中聚类和回归的知识分享和代码开源,相关收入已捐赠贫困学子~~感谢各位的参与|~~
优惠券已抵扣
余额抵扣
还需支付
¥9.90
¥99.00
购买须知?
本专栏为图文内容,最终完结不会低于15篇文章。
订阅专栏,享有专栏所有文章阅读权限。
本专栏为虚拟商品,基于网络商品和虚拟商品的性质和特征,专栏一经购买无正当理由不予退款,不支持升级,敬请谅解。
坠金
记性很差,写博客一是记录,二是交流分享,欢迎批评
展开
-
KNN和k-means的区别
knn是分类算法,首先给定已经分好类别的数据,问测试数据属于哪一类。分类依据是投票法,看测试数据周边最多的是哪一类,则测试数据属于该类kmeans是聚类算法,给定数据无任何标签,算法猜测有几类,簇在哪,其过程类似熵增。原创 2023-04-16 14:12:45 · 73 阅读 · 0 评论 -
bagging与boosting
这些弱学习器是独立的,由于每个弱学习器对应的训练集是不同的,因此每个弱学习器都具有不同的误差和方差。因此,Bagging算法可以降低整体模型的方差,提高模型的泛化能力。在机器学习中,模型的方差(variance)指的是模型的预测结果对于训练数据的变化敏感程度,即模型在不同的训练数据集上产生的预测结果的差异大小。Boosting算法通过迭代训练弱学习器,每次都会调整训练数据的权重,并让弱学习器关注上一轮训练中分类错误的样本,从而降低整体模型的偏差,提高模型的准确性。原创 2023-03-22 14:34:27 · 242 阅读 · 1 评论 -
回归-原理及评价标准的实现
回归模型存在一个点集,试图用一条曲线去拟合它的分布。如果拟合曲线是一条直线,则称为线性回归。如果是一条二次曲线,则被称为二次回归。线性回归是回归模型中最简单的一种。若数据只有一个特征,数据集分布在一条直线上,那么回归模型可以表示为:y = w * x + b。2个特征,y = w1 * x1 +w2*x2+b....用矩阵表示:w称为权重,b称为偏置评价标准如何求解参数w b能够量化目标的实际值与预测值之间的差距,在训练模型时,我们希望寻找一组参数(w,b).原创 2022-05-18 19:13:50 · 346 阅读 · 0 评论 -
聚类-入门
参考:《机器学习》周志华聚类和分类的区别:分类:训练时会给标签,通过监督学习,使模型能够预测新数据属于什么类别聚类:训练时没有标签,通过无监督学习,试图把数据分成几个不相交的子集聚类的种类:根据方法分为:原型聚类 / 密度聚类 / 层次聚类根据同一个样本是否可以属于不同簇分为:软聚类 / 硬聚类聚类的性能度量:注意,现实中聚类的分类效果是主观的,大体上希望,离得近(相似度高)的在同一堆(簇)里边外部指标:将我们的结果和“参考模型”结果比较参考模型:原创 2022-05-05 17:32:26 · 396 阅读 · 1 评论 -
KNN实现(数据集cifar10)
下载数据集CIFAR-10 and CIFAR-100 datasets的python版本并解压到C:\Users\mage\.keras\datasets读取数据:cifar10数据读取_坠金的博客-CSDN博客将读入的数据可视化import numpy as npimport matplotlib.pyplot as pltcifar10_dir = 'C:/Users/mage/.keras/datasets/cifar-10-batches-py/'import cifa原创 2022-06-11 00:00:00 · 564 阅读 · 0 评论 -
HOG特征提取
目录预备知识梯度的计算方式预处理计算流程在cell中计算梯度方向直方图(Orientation binning)在block中归一化梯度方向直方图(Block Normalization)统计整幅图像(检测窗口)的HOG特征实现预备知识梯度的计算方式求取梯度幅值和方向:取图像水平方向和垂直方向的梯度,然后计算每个像素点的梯度幅值和方向,微分求图像梯度不仅可以捕获图像边缘和纹理信息,而且可以弱化光照不均匀的影响HOG特征提取目的:一幅图片包含的特..原创 2022-05-30 16:51:31 · 156 阅读 · 0 评论 -
k最近邻KNN
前面学的kmeans中我们知道,一个实例属于哪一个簇,取决于它距离哪一个簇更近。在kmeans中,一个样本属于哪一类,取决于它的邻居中出现的最多类别,即“投票法”k=3 红星=黄色k=6 =紫色实现手写数字识别cifar10 图像识别这个数据是图像,根据上面的原理介绍很容易理解KNN怎么完成聚类的,那么又是怎么对图像分类的呢?有两种方法:(1)直接分类本质是将图像的每个像素点的像素值作为特征图像间的距离=每个对应位置的像素点的像素值差值的绝对值的和。原创 2022-05-29 22:45:26 · 436 阅读 · 1 评论 -
多层感知机MLP求解回归问题
模型定义:损失函数:torch.nn里的损失函数:MSE、BCE、BCEWithLogits、NLLLoss、CrossEntropyLoss的用法_zcm0126的博客-CSDN博客_mse和bcebatch:原创 2022-05-23 00:00:00 · 543 阅读 · 0 评论 -
岭回归的原理和实现
预备知识共线性:特征之间线性相关e.设原线性回归公式为:y=w1*x1+w2*x2+w3*x3训练完毕的线性回归公式为:y=5x1+7x2+10x3,此时加入一个新特征x4,假设x4和x3高度相关,x4=2x3,则y=w1*x1+w2*x2+w3*x3+w4*x4=w1*x1+w2*x2+(w3+2w4)*x3因为我们之前拟合出来的最优的回归方程为:y=5x1+7x2+10x3显然w3+2w4可以合并成一个新的权重稀疏 w5,则y=w1*x1+w2*x2.原创 2022-05-18 19:58:18 · 585 阅读 · 0 评论 -
线性回归的原理及python实现
经典的线性回归模型主要用来预测一些存在着线性关系的数据集。回归模型可以理解为:存在一个点集,用一条曲线去拟合它分布的过程。如果拟合曲线是一条直线,则称为线性回归。如果是一条二次曲线,则被称为二次回归。线性回归是回归模型中最简单的一种。 本教程使用PaddlePaddle建立起一个鲍鱼年龄预测模型。在线性回归中:(1)假设函数是指,用数学的方法描述自变量和因变量之间的关系,它们之间可以是一个线性函数或非线性函数。 在本次线性回顾模型中,我们的假设函数为 Y’= wX+b ,其中,Y’表示模型的预测..原创 2022-05-18 10:51:20 · 349 阅读 · 0 评论 -
mean-shift算法原理
预备知识核函数样本线性可分时,我们很容易找到一个函数将它分开。比如对于样本(1,0)和(0,1)可以用y=x分开样本点不是线性可分时,比如:我们就要用“核函数”将二维线性不可分样本映射到高维空间中,让样本点在高维空间线性可分核函数的选择支持向量机的核函数及其选择 - JavaShuo注意 常用的高斯核函数,对参数较为敏感原理在Mean Shift算法中引入核函数的目的是使得随着样本与被偏移点的距离的不同,其偏移量对均值偏移向量的...原创 2022-05-10 15:08:24 · 309 阅读 · 1 评论 -
高斯混合聚类EM-GMM的原理和python实现
首先介绍作为模型的GMM原理,EM算法原理(用来迭代求解模型参数的)见另一篇博客原理先验概率:事情还没有发生,根据以往经验(已知数据分布)来判断事情发生的概率扔一个硬币,在扔之前就知道正面向上的概率为0.5 后验概率事情已经发生了,判断事情的发生是由哪一种原因引起的 P( 你在东南大学 | 同学都是男的),意为,已经发现身边同学都是男的,原因是你属于东大学生这个簇的可能性是将后验概率用于聚类假设一开始我们猜测有3个簇,那么对每个样本可以计算得到3个后验概率..原创 2022-05-09 20:34:23 · 1361 阅读 · 1 评论 -
k-means 原理和python实现
随机选取K个对象作为初始的聚类中心,然后计算每个对象与各个种子聚类中心之间的距离,把每个对象分配给距离它最近的聚类中心算法过程:(1)随机选取K个对象作为初始聚类中心;(2)将数据样本集合中的样本按照最小距离原则分配到最邻近聚类;(3)根据聚类的结果,重新计算K个聚类的中心,并作为新的聚类中心;(4)重复步骤2.3直到聚类中心不再变化。这个距离可以直接是 ((x-x0)^2+(y-y0)^2)^0.5这种k近邻:分类和回归 监督学习参考资料机器学习中 K近邻法(knn)...原创 2022-05-06 20:12:45 · 385 阅读 · 1 评论 -
聚类原理 及 实现
写在前面,这个专栏的盈利超过10块的就捐给山区儿童买书,最后一次更新更捐款去向。顺便想体验一下收费专栏的感觉(手动狗头) 这个专栏设的价格最低的一档9.9,不想付费的可以私戳我,我截图内容给他(人不多的话)。参考内容:《机器学习》周志华簇:下图分别划分成了2簇,3簇原型:样本中有代表性的点,比如这些簇有一个中心原型聚类,prototypr-based clustering:假设簇的分布可以用一堆原型刻画...原创 2022-05-06 20:17:11 · 144 阅读 · 0 评论