![](https://img-blog.csdnimg.cn/20190918140053667.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
机器学习
文章平均质量分 93
机器学习
卡卡西~
一个喜欢算法的在读研究生,所有原创博客均为本人日常学习所写,只代表本人的思想,欢迎纠错。
展开
-
无线传感器网络WSN覆盖优化问题
无线传感器网络WSN覆盖优化问题基础知识必看原创 2022-12-09 18:51:30 · 5247 阅读 · 3 评论 -
特征相关性分析
有时候即便Pearson相关系数是 0,也不能断定这两个特征是独立的(有可能是非线性相关);如果距离相关系数是 0,那么这两个特征就是独立的。计算特征的方差,如果方差接近于0,也就是该特征的特征值之间基本上没有差异,说明这个特征对于样本的区分没什么用,可以剔除。当特征之间的关系接近线性相关时,Pearson相关系数仍然是不可替代的。如果协方差为正,说明两个特征正相关,协方差越大说明相关程度越高;如果协方差为负,说明两个特征负相关,协方差越小说明相关程度越高;如果协方差为0,说明两个特征相互独立,不相关。..原创 2022-08-30 17:12:28 · 4191 阅读 · 0 评论 -
k近邻法(K- Nearest Neighbor,KNN)
KNN法的思想非常简单直接:给定一个训练数据集,对新的输入实例,在训练数据集中找到与该实例最邻近的k个实例,这k个实例大多数属于哪个类,就把该输入实例分到哪个类。要想实现该思想,需要解决三个问题:1.k如何确定?设涵盖这k个点的x的邻域为Nk(x)。选择较小的k值:划分的Nk(x)较小,预测结果会对近邻的点非常敏感,如果这些很近的点恰好是噪声,预测就会出错。较小的k值意味着模型比较复杂,容易过拟合;选择较大的k值:划分的Nk(x)较大,与输入实例不相似的点(较远的点)也会影响预测结果,预测就容易出原创 2022-03-03 21:51:50 · 575 阅读 · 1 评论 -
提升方法之AdaBoost、BT、GBDT、Bagging、RF、XGBoost
本文总结了提升方法的基本实现原理,描述了提升方法的代表算法(包括AdaBoost、BT提升树、Bagging、RF随机森林、GBDT梯度提升树、XGBoost等),以及这些算法的区别和实现代码等。原创 2022-03-02 20:56:54 · 590 阅读 · 1 评论 -
逻辑斯谛回归(logistics regression,LR)
之前学到的感知机线性回归中说过,一个分离超平面S将特征空间分成两个部分,实例在不同的子空间中被分为相对应的类。但是当一个样本点与超平面的距离非常近时,被分成类A的可能性为51%,分成类B的可能性为49%,此时线性回归会直接给出该样本点属于A类的结论,并没有告诉我们它属于A类的概率是多少,这样就忽略了49%分成B类的可能性。为了得到这个概率,引出了Sigmoid函数(也叫Logistic,逻辑斯谛函数)。关于函数的简介,可以在百度中自行了解:https://baike.baidu.com/item/Si原创 2022-02-28 21:37:37 · 1401 阅读 · 0 评论 -
决策树(Decision Tree,DT)(ID3、C4.5、剪枝、CART)
决策树模型是树形结构,既可以用于分类,也可以用于回归。它是if-then规则的集合,也是定义在特征空间与类空间上的条件概率分布。一颗决策树由结点和有向边组成,结点分为内部结点(包括根结点,表示特征)和叶结点(表示类),有向边的权值表示特征的一个取值。决策树模型是根据损失函数最小化的原则建立的。通常包括3个步骤:一、特征选择二、生成决策树三、修剪决策树为了方便描述,设训练数据集D = {(x1,y1),(x2,y2),…,(xN,yN)},其中N为样本个数,|D|表示数据集D的样本容量,|D|=N。xi原创 2022-02-21 23:06:12 · 1223 阅读 · 0 评论 -
朴素贝叶斯法(Naive Bayes,NB)(结合例子推公式,通俗易懂)
朴素贝叶斯是一种概率模型,同时也是参数化模型,经常用于监督学习的分类应用中,例如垃圾邮件分类。对于训练集,首先学习输入输出的联合概率分布模型,然后基于此模型,对给出的输入x,利用贝叶斯定理求出后验概率最大的输出y。先来看看最终的公式:y=argmaxP(Y=ck)∏jP(X(j)=x(j)∣Y=ck)y = argmaxP(Y=c_k)\prod_{j}P(X^{(j)}=x^{(j)}|Y=c_k)y=argmaxP(Y=ck)j∏...原创 2022-02-16 21:08:44 · 3915 阅读 · 0 评论 -
感知机模型
监督学习笔记(一)感知机模型模型的基本描述感知机算法的原始形式感知机算法的对偶形式模型的基本描述感知机模型是二类分类的线性分类模型,是神经网络和支持向量机的基础,有原始形式和对偶形式两种,最终目的是求出将训练数据进行线性划分的分离超平面。它的输出只有+1和-1两种类别,用的是基于误分类的损失函数,利用梯度下降法对损失函数进行极小化,从而求得感知机模型。KaTeX parse error: No such environment: equation at position 8: \begin{̲e̲q原创 2022-02-12 14:58:09 · 1087 阅读 · 0 评论 -
机器学习入门必知
学习机器学习必备的一些基础知识,入门必看,参考教材+自己理解所写,包括专业术语,分类,基本策略等。原创 2021-12-27 00:05:09 · 1066 阅读 · 0 评论