经典机器学习算法
文章平均质量分 96
介绍一系列的机器学习算法,通俗易懂~
wujiekd
做你认为正确的事。https://wujiekd.github.io/zh-cn
展开
-
经典机器学习算法:朴素贝叶斯
朴素贝叶斯介绍回顾高斯判别分析朴素贝叶斯朴素贝叶斯法模型朴素贝叶斯法的假设朴素贝叶斯法的参数估计极大似然估计贝叶斯估计回顾高斯判别分析生成模型,使用较强的假设。对于两类样本,其服从伯努利分布,而对每个类中的样本,假定都服从高斯分布。朴素贝叶斯朴素贝叶斯是生成模型,和高斯判别分析类似,主要针对最大化p(X∣Y)p(Y)p(X|Y)p(Y)p(X∣Y)p(Y)进行建模,高斯判别分析有两个假设:对于两类样本,其服从伯努利分布,而对每个类中的样本,假定都服从高斯分布(多属性即多维高斯分布)。但是高斯判别原创 2021-04-05 15:24:16 · 395 阅读 · 2 评论 -
经典机器学习算法:高斯判别分析GDA
高斯判别分析介绍两分类-软分类-概率生成模型-高斯判别分析 GDA两分类-软分类-概率生成模型-高斯判别分析 GDAGDA:Guassian Discrimant Analysis生成模型中,我们对联合概率分布进行建模,然后采用 MAP 来获得参数的最佳值。两分类的情况,我们采用的假设:y∼Bernoulli(ϕ)y\sim Bernoulli(\phi)y∼Bernoulli(ϕ)x∣y=1∼N(μ1,Σ)x|y=1\sim\mathcal{N}(\mu_1,\Sigma)x∣y=1∼N(μ1原创 2021-04-04 19:48:24 · 698 阅读 · 0 评论 -
经典机器学习算法:决策树
决策树简介决策树决策树模型决策树的生成ID3算法C4.5算法决策树的剪枝CART算法(classification and regression tree)决策树决策树(decision tree) 是一种基本的分类与回归方法。决策树属于判别模型。决策树模型决策树的生成ID3算法C4.5算法决策树的剪枝CART算法(classification and regression tree)...原创 2021-04-04 16:05:26 · 589 阅读 · 0 评论 -
经典机器学习算法:最大熵模型
最大熵模型介绍最大熵模型简介最大熵原理最大熵模型概念定义统计数据集数学定义推导求解最大熵模型简介最大熵模型是对数线性模型,属于判别模型。最大熵模型(maximum entropy model)由最大熵原理推导实现。 这里首先叙述一般的最大熵原理,然后讲解最大熵模型的推导,最后给出最大熵模型学习的形式。顾名思义,最大熵模型就是:给定一个训练数据集T={(x1,y1),(x2,y2),...,(xN,yN)}T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}T={(x1,y原创 2020-08-20 16:20:29 · 817 阅读 · 0 评论 -
经典机器学习算法:逻辑斯谛回归
Logistic 回归介绍逻辑斯谛回归-Logistic 回归逻辑斯谛分布二项逻辑斯谛回归模型特点策略多项逻辑斯谛回归逻辑斯谛回归-Logistic 回归逻辑斯谛回归是对数线性模型。二项逻辑斯谛回归是对数线性二分类模型。多项逻辑斯谛回归是对数线性多分类模型。逻辑斯谛分布设XXX是连续随机变量,XXX服从逻辑斯谛分布是指XXX具有下列分布函数和密度函数:F(x)=P(X≤x)=11+e−(x−μ)/γF(x) = P(X\leq x) = \frac{1}{1+e^{-(x-\mu)/\gamm原创 2020-08-19 18:34:34 · 434 阅读 · 0 评论 -
经典机器学习算法:线性判别分析LDA
参考csdn博客:线性判别分析(LDA)基本原理及实现线性判别分析介绍一、模型二、推导投影第一个条件,方差第二个条件,均值损失函数一、模型线性判别分析LDA是二分类的线性分类模型。LDA是一种监督学习的降维技术,也就是说它的数据集的每个样本是有类别输出的,这点和PCA不同。PCA是不考虑样本类别输出的无监督降维技术。LDA的思想可以用一句话概括,就是“投影后类内方差最小,类间方差最大”,如下图所示。在 LDA 中,我们要将数据在低维度上进行投影,投影后的数据需要满足两个条件,从而可以更好地分.原创 2020-08-18 17:25:09 · 475 阅读 · 0 评论 -
经典机器学习算法:线性回归
参考Github笔记线性回归线性回归最小二乘法几何视角概率视角权重先验也为高斯分布的 MAP正则化L1 LassoL2 Ridge小结线性回归假设数据集为:D={(x1,y1),(x2,y2),⋯ ,(xN,yN)}\mathcal{D}=\{(x_1, y_1),(x_2, y_2),\cdots,(x_N, y_N)\}D={(x1,y1),(x2,y2),⋯,(xN...原创 2020-08-17 20:42:56 · 344 阅读 · 0 评论 -
经典机器学习算法:k近邻法
基于李航教授的《统计学习方法》,本博客为个人学习笔记。k近邻与k-means的比较:两者共同点:1、k的选择类似2、思路:根据最近的样本来判断某个样本的属性两者不同点:1、应用场景:前者是分类或回归问题,后者是聚类问题2、算法复杂度:前者是O(n2),后者是O(kmn)模型k近邻法是一种基本分类与回归方法。它不属于判别模型,也不属于生成模型。k近邻法实际上是对于输入的数据,在...原创 2020-04-01 21:28:20 · 768 阅读 · 0 评论 -
经典机器学习算法:感知机
基于李航教授的《统计学习方法》,本博客为个人学习笔记。模型感知机是二分类的线性分类模型。感知机对应于输入空间(特征空间)中将实例划分为正负两类的分离超平面,属于判别模型。由输入空间到输出空间如下函数,使用符号函数可以区分开两个类别的输出。以下为感知机模型的二维直观展示。对于数据集使用该算法的前提是,线性可分,因为感知机实际上就是一个超平面将空间划开两部分。策略学习策略,即为定义...原创 2020-04-01 21:28:32 · 320 阅读 · 0 评论