![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
ML 基础
小鹏聊智驾
上汽智驾搬砖
展开
-
一文搞定ML从入门到入土(附网盘链接)
1 简介ML是数据科学的基石,本系列将分享部分ML重要算法,从理论与代码实现两方面剖析。下文会给出传送门并分享一些相关学习资料的网盘地址。2 传送门概述LRKNNDTSVMNBAdaBoostEMHMM3 福利链接:https://pan.baidu.com/s/1xYFcEwpP4r_sWJuztZlaEg提取码:w4p7...原创 2020-06-27 18:35:29 · 920 阅读 · 0 评论 -
【ML从入门到入土系列09】HMM
文章目录1 理论2 代码3 参考1 理论HMM解决的三大问题如下,即概率计算,学习以及预测问题。分别采用前向/后向算法,Viterbi算法,Baum-Welch算法进行求解。2 代码class HiddenMarkov: # 前向算法 def forward(self, Q, V, A, B, O, PI): N = len(Q) #可能存在的状态数量 M = len(O) # 观测序列的大小 alphas = np.zeros((原创 2020-06-27 18:26:14 · 386 阅读 · 0 评论 -
【ML从入门到入土系列08】EM
文章目录1 理论2 代码3 参考1 理论EM算法通过迭代求解观测数据的对数似然函数L(θ)=logP(Y∣θ){L}(\theta)=\log {P}(\mathrm{Y} | \theta)L(θ)=logP(Y∣θ)的极大化,实现极大似然估计。每次迭代包括两步:EEE步:求期望Q(θ,θ(i))=∑zlogP(Y,Z∣θ)P(Z∣Y,θ(i))Q\left(\theta, \theta^{(i)}\right)=\sum_{z} \log P(Y, Z \mid \theta) P\lef原创 2020-06-27 18:15:11 · 297 阅读 · 0 评论 -
【ML从入门到入土系列07】AdaBoost
文章目录1 理论2 代码3 参考1 理论AdaBoost算法是模型融合的典型算法,即将一系列基分类器组合成一个强分类器。其伪代码如下图所示。2 代码class AdaBoost: def __init__(self, n_estimators=50, learning_rate=1.0): self.clf_num = n_estimators self.learning_rate = learning_rate def init_args(sel原创 2020-06-27 18:08:24 · 193 阅读 · 0 评论 -
【ML从入门到入土系列06】朴素贝叶斯
文章目录1 理论2 代码3 参考1 理论朴素贝叶斯是生成学习方法,即训练数据学习联合概率分布 P(X,Y)P(X,Y)P(X,Y),然后求得后验概率分布P(Y∣X)P(Y|X)P(Y∣X),利用贝叶斯定理与学到的联合概率模型进行分类预测,公式如下:P(Y∣X)=P(X,Y)P(X)=P(Y)P(X∣Y)∑YP(Y)P(X∣Y)P(Y \mid X)=\frac{P(X, Y)}{P(X)}=\frac{P(Y) P(X \mid Y)}{\sum_{Y} P(Y) P(X \mid Y)}P(Y∣X)原创 2020-06-27 17:56:41 · 202 阅读 · 0 评论 -
【ML从入门到入土系列05】支持向量机
文章目录1 理论1.1 线性SVM1.2 非线性SVM2 代码3 参考1 理论SVM基本形式:有监督二分类线性分类模型;扩展形式:有监督二分类非线性分类模型,有监督多分类(线性/非线性)分类模型,有监督线性回归模型(SVR),基于核函数的SVM/SVR1.1 线性SVM与逻辑回归对比图如下:多分类SVM的核心思想是OVO,其流程如下图1.2 非线性SVM如何将线性支持向量机扩展为非线性支持向量机?将线性内积(线性核函数)替换为K(xi,xj)K\left(x_{i}, x_{j}\ri原创 2020-06-27 14:52:12 · 273 阅读 · 0 评论 -
【ML从入门到入土系列04】决策树
文章目录1 概述2 ID32.1 理论2.2 代码3 C4.53.1 理论4 CART4.1 理论4.2 代码参考1 概述传统的决策树算法包括ID3算法、C4.5算法以及CART算法。三者主要的区别在于特征选择准则不同。ID3算法选择特征的依据是信息增益,C4.5是信息增益比,而CART则是Gini指数。决策树算法的基本流程如下图所示。2 ID32.1 理论离散属性aaa的取值{a1,a2,a3,…aV}\left\{a^{1}, a^{2}, a^{3}, \ldots a^{V}\right原创 2020-06-27 13:55:53 · 212 阅读 · 0 评论 -
【ML从入门到入土系列03】K近邻
文章目录1 理论1.1 距离的度量方式1.2 k 值的选择1.3 分类决策规则2 代码1 理论简单地讲,KNN 思想就是给定一个训练数据集,对于新的输入实例,在训练集中找到与该实例最近邻的 k 个实例,这 k 个实例的多数属于哪个类,则该实例就属于哪个类。其中,算法的三个核心如下:找到与该实例最近邻的实例,即距离的度量方式;k 值的选择;分类决策规则;1.1 距离的度量方式距离的度量在 k 近邻中称为相似性度量,即特征空间中两个实例点的相似程度。常用欧式距离,即L2距离。计算公式如下:原创 2020-06-27 12:59:09 · 272 阅读 · 0 评论 -
【ML从入门到入土系列02】线性回归与逻辑回归
文章目录1 线性回归1.1 线性模型1.2 定义1.3 损失函数1.4 梯度下降1.5 过拟合与正则化1.6 案例2 逻辑回归2.1 定义2.2 决策边界2.3 损失函数2.4 梯度下降2.5 案例1 线性回归1.1 线性模型线性模型是学习一个通过特征的线性组合来进行预测的函数其数学形式为:f(x)=wTx+bf(\boldsymbol{x})=\boldsymbol{w}^{T} \boldsymbol{x}+bf(x)=wTx+b1.2 定义线性回归是采用线性模型解决回归问题,其输出值为连原创 2020-06-10 19:36:33 · 293 阅读 · 0 评论 -
【ML从入门到入土系列01】概述
文章目录1 ML基本概念1 ML基本概念如下图所示,ML 是计算机从数据中学习出规律,应用在新数据上做预测;其在互联网、生物、医疗、交通、金融等领域有着广泛应用。原创 2020-06-09 18:07:52 · 2193 阅读 · 0 评论