机器学习
Glenn27
这个作者很懒,什么都没留下…
展开
-
机器学习--基于线性回归,减缩系数来“理解”数据
如果数据的特征比样本点还多应该怎么办?是否还可以使用线性回归?答案是否定的。多元线性回归的算法,需要输入数据的矩阵是满秩矩阵。如果特征比样本点多,则说明输入矩阵不是满秩矩阵。 为了解决以上问题,我们可以引入 “岭回归”,“lasso法”,“前向逐步回归” 三种缩减方法。 缩减: 通过引入惩罚项,减少不重要的参数,这个技术在统计学中叫做缩减。岭回归 岭回归就是在矩阵XTXX^TXXTX上加上一个λI\lambda IλI从而使得矩阵非奇异,进而能对XTX+λIX^TX+\lambda IX原创 2020-09-23 15:46:07 · 411 阅读 · 0 评论 -
机器学习--线性模型
基本形式 给定由d个属性描述的示例 x=(x1;x2;...;xd)x = (x_1;x_2;...;x_d)x=(x1;x2;...;xd),其中xix_ixi是xxx在第i个属性上的取值,线性模型试图学的一个通过属性的线性组合来进行预测的函数,即 f(x)=w1x1+w2x2+...+wdxd+bf(x) = w_1x_1 + w_2x_2 +...+w_dx_d+bf(x)=w1x1+w2x2+...+wdxd+b一般用向量形式写成 f(x)=wTx+bf(x原创 2020-09-22 16:53:12 · 142 阅读 · 0 评论 -
机器学习--朴素贝叶斯算法
贝叶斯定理 贝叶斯定理:表达了一个事件发生的概率,而确定这一概率的方法是基于与该事件相关的条件先验知识。条件概率是指在事件B发生的情况下,事件A发生的概率。通常记为 P(A|B) P(A|B) = P(A)∗P(B∣A)P(B)\displaystyle\frac{P(A) * P(B|A) }{P(B)}P(B)P(A)∗P(B∣A)p(A):称为 “先验概率”,即事件B发生之前,对A事件概率的一个判断。P(A|B):已知B发生后A的条件概率,也由于得自B的取值而被称作A的 “后验概原创 2020-09-10 11:58:36 · 284 阅读 · 0 评论 -
机器学习--K-近邻算法
K-近邻算法k-近邻算法采用测量不同特征值之间的距离方法进行分类工作原理1.存在一个样本数据集合(训练样本集),并且样本集中每个数据都存在标签,即我们知道样本集中每一数据与所属分类的对应关系。2.输入没有标签的新数据后,将新数据的每个特征与样本集中数据对应的特征进行比较,然后算法提取样本集中特征最相似数据(最近邻)的分类标签。3.只选择样本数据集中前K个最相似数据,K是不大于20的整数。4.选择K最相似的数据,做为新数据的分类。使用公式欧氏距离公式:例如:点(0, 0)与(1,2)之间的原创 2020-08-25 14:33:41 · 142 阅读 · 0 评论 -
机器学习--决策树
决策树 决策树是一类常见的机器学习方法,决策树是基于树结构来进行决策的。其学习目的是为了产生一棵泛化能力强,即处理未见未示例能力强的决策树,其基本流程遵循简单且直观的 “分而治之” 策略决策树流程示意图#mermaid-svg-1HxmpBKjpr3Rwvr2 .label{font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family);fill:#333;color:#333}#mermaid-sv原创 2020-08-27 15:52:51 · 424 阅读 · 0 评论