机器学习
开数据挖掘机的小可爱
这个作者很懒,什么都没留下…
展开
-
为什么梯度方向就是最速下降?—泰勒展开
为什么梯度方向就是最速下降? 原理:泰勒展开 即: -▽f(x)Δx 即df(x)Δx ,为函数值的变化量,是向量df(x) 和 Δx的点积,当两向量共线时点积值最大,因此要想找到从A点最快到B点的路径,就要找到最大点积值,也就是说使两向量方向相同。 d f(x)是函数在x处的梯度,所以梯度方向是函数局部上升最快的方向。...原创 2021-04-04 16:36:52 · 1246 阅读 · 2 评论 -
【正则化】—通俗易懂谈正则化:L1正则化和L2正则化
颓废多日,终于重新回归博客,记录每天的学习or复习,每一天都要加油鸭~ 今天算是复习了一下正则化吧,主要也是这个在实习面试中也经常会被问到(一直想系统的记录下找实习的面试的坎坷历程,也记录下被问到的问题,方便后面再面试复习,但一直懒,这周我会完成吧?) 言归正传,废话不多说,接下来复习正则化吧!说到正则化,在面试中经常会问到的就是什么是正则化?L1和L2正则化的区别?1.为什么要正则化? 减小模型参数大小或参数数量,缓解过拟合2.什么是正则化? 通式:正则化项 又称惩罚项,惩罚的是模型的参原创 2021-03-30 19:42:50 · 1522 阅读 · 0 评论 -
【机器学习】——K_means如何选择k值?
K_means聚类是我们在无监督学习中常用的一种算法,但有一个很让人头疼的问题就是如何选择k值。在实际业务中,如果根据业务场景明确知道要得到的类数,那就好办了,但很多时候不知道K怎么办呢?下面有三种方法可以用来确定k值,其基本思想还是最小化类内距离,最大化类间距离,使同一簇内样本尽可能相似,不同簇中样本尽可能不相似.1.肘部法 随着k值增大,误差值会越来越小(举一个极端的例子:当每一个样本被分为一个类时,类内间距最小,但这显然不是我们想要的),因此可根据不同k值下的误差曲线选择使误差平方和下降最快原创 2020-12-30 15:38:17 · 5890 阅读 · 0 评论 -
【机器学习】——聚类中几种常用的相似度度量
聚类中几种常用距离度量 在 聚类问题中,相似度直接影响聚类的结果,其选择是聚类的根本问题。将样本看作n维向量空间中点的集合,则样本间的相似度可用样本在该向量空间的距离表示。距离度量的基本性质非负性 :同一性:对称性: 直递性: 可理解为两边之和大于第三边,即三角不等式。一、闵可夫斯基距离定义:给定n维空间中的任意两点 , ,这两点间的闵可夫斯基距离为:缺点:(1)没有考虑各个分量量纲不同的问题。(2)没有考虑各个分量的分布不同的问题(3)没有考虑变量间的相原创 2020-11-21 22:05:45 · 10173 阅读 · 1 评论 -
【机器学习】—— 模型评估那点“小事儿”
训练误差和泛化误差把学习器的实际预测输出与样本真实输出值之间的差异称为“误差”。训练误差:学习器在训练数据上的误差,可做为模型调参的依据。泛化误差:学习器在新样本上的误差,反映了学习器对未知数据的预测能力。将学习器对未知数据的预测能力称为泛化能力,泛化误差越小,泛化能力越强,越是符合我们的期望。过拟合与欠拟合过拟合:学习器对已知数据学习的太好了,以至于把训练样本特有的一些性质当作了所有样本都具有的性质,即:模型的复杂度高于实际“真模型”,在已知数据上表现很好,在未知数据上表现很差。欠拟合:学习.原创 2020-11-30 22:28:11 · 674 阅读 · 1 评论 -
【机器学习】——聚类相关理论及性能度量
聚类的概念聚类是一种无监督学习,即训练数据中是不含标签等标记信息的。聚类就是根据给定样本内部的特征,将其划分到若干个类别,每个类别就是一个簇,聚类的结果就是使得同一簇内的样本尽可能相似,即相似度较大,而不同簇之间相似度尽可能小。而此相似度的衡量可通过样本间的距离衡量。简单来说,聚类就是我们平时所说的“物以类聚”。硬聚类和软聚类通过聚类得到的结果是若干个簇,其本质是样本的子集。硬聚类:聚类得到的结果中,一个样本只属于一个簇,也就是说任意两个簇的交集为空集。软聚类:一个样本可以被划分到多个簇,即:两.原创 2020-12-01 22:57:43 · 1666 阅读 · 1 评论 -
【机器学习】——感知机学习算法
1.感知机:根据输入实例的特征向量X对其进行二分类的线性分类模型2.目标:感知机模型从输入空间到输出空间的映射可表示为y=f(x)=sign(w*x+b),感知机学习的目的就是学得一个使训练样本正例与负例完全正确分开的超平面wx+b=0,也就是学习参数w和b3.损失函数:用分类错误的点到超平面的距离表示。点到平面的距离公式为:因此一个分类错误的点到超平面的距离为:因为在函数y=f(x)=sign(wx+b)中sign为符号函数,因此当wx+b≥0时,y=1;当w*x+b≤ 0时,y=-1;因此对于任原创 2020-12-05 22:02:28 · 1683 阅读 · 0 评论