机器学习
文章平均质量分 95
机器学习是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。
它是人工智能的核心,是使计算机具有智能的根本途径。
Super__Tiger
专注于人工智能及其应用等知识领域的养成系博主!(づ ̄3 ̄)づ╭~
展开
-
❤️解决非线性回归问题的机器学习方法总结:多项式线性模型、广义线性(GAM)模型、回归树模型、支持向量回归(SVR)模型
本文主要总结了解决非线性回归问题的机器学习方法,其中包括多项式线性模型、广义线性(GAM)模型、回归树模型、支持向量回归(SVR)模型,每个模型的方法都有其特点。多项式线性模型和GAM模型侧重于经验风险误差最小化,容易过拟合;回归树模型和SVR模型侧重于结构风险最小化,对异常值数据更不敏感,回归树模型可通过剪枝和压缩的方式去降低过拟合的风险,SVR模型具有较好的区间内鲁棒能力。原创 2021-08-23 09:08:21 · 5552 阅读 · 28 评论 -
模糊c–均值聚类算法的原理解释及推导
模糊????–均值聚类算法的原理推导及解释前置知识:????–均值聚类的缺陷算法要求每个样本数据点在一次迭代过程中只能被划分到某个特定的簇中。样本数据并非都满足这种非此即彼的刚性划分。在k-均值聚类存在缺陷的情况下,我们提出了模糊c-均值聚类算法。核心部分:模糊????–均值聚类基本思想:使用模糊数学中属于[0,1]区间的隶属度指的是度量单个样本隶属于各个簇的程度。规定每个样本到所有簇的隶属度之和均为1,若某个样本到某个簇的隶属度为1,则表示该样本完全隶属于该簇。原理推导:如原创 2021-08-21 08:57:10 · 4917 阅读 · 6 评论 -
Adaboost算法的原理推导及解释
AdaBoost是一种具有自适应性质的Boosting集成学习算法,自适应性主要表现在自动提升被错误预测样本的权重,自动减少被正确预测样本的权重,使得弱学习器训练过程能够根据模型预测性能自动进行调整。原创 2021-08-11 16:47:51 · 1110 阅读 · 14 评论 -
EM算法的原理推导及解释
本质上,EM算法针对于存在明显可疑的隐藏变量z,该变量影响着直观的样本数据的分布情况(即:方差、均值等),但是我们又无法得知和计算出准确的隐藏变量z。于是,我们采用迭代的方式,设定已知模型的参数初值,然后结合已有的样本信息将隐藏变量z的期望以累计的形式进行表示出,然后进一步对当前的参数偏导求解更新新一轮的参数。原创 2021-08-03 18:50:45 · 771 阅读 · 3 评论 -
支持向量机(SVM)的原理推导及解释
文章目录支持向量机(SVM)的原理推导及解释1.线性可分支持向量机(linear support vector machine in linearly separable case)2.线性支持向量机(linear support vector machine)3.非线性支持向量机(non-linear support vector machine)支持向量机(SVM)的原理推导及解释支持向量机的本质:选出最优的分类超平面(标准:离超平面最近距离的样本点最远的超平面)。假定超平面方程WTx+b=0\m原创 2021-08-01 09:35:30 · 3667 阅读 · 9 评论 -
非诚勿扰系列(1)—摊牌了,我叫彭于晏,我去和美女嘉宾相亲了!!(贝叶斯“相亲”实战篇)
据说,有一天,我做了个梦,梦里我身高七八尺,纵享八块腹肌,耳边了传来了熟悉的音乐“Can you feeling,show what's this,欢迎各位女嘉宾登场......”侧身一看,是那个头顶**反光**的男人–孟非老师!摊牌了!我不装了,我叫彭于晏,我在08年参加了非诚勿扰…孟非老师:“在第一个阶段,给你提供了一个平板,你在系原创 2021-05-30 21:18:38 · 1084 阅读 · 41 评论 -
Python:ID3算法的基本原理及代码复现
文章目录引言ID3算法的基本原理信息增益的算法ID3算法的流程ID3算法的代码复现数据集的准备:1.Mnist数据集的格式转换算法模块的实现2.加载数据3.寻找对应样本数目最大的标签4.经验熵的计算5.条件经验熵的计算6. 计算信息增益最大的特征7.子数据集和对应标签集的创建8.递归创建决策树9.预测标签10.模型评估11.主函数的构造测试运行引言本文主要介绍了ID3算法进行决策树生成的算法原理,并对该算法流程进行了代码复现,其中算法的部分参考自李航-《统计学习方法》一书,代码的注释详细,供读者学习参考原创 2021-05-17 19:38:53 · 6044 阅读 · 5 评论 -
为什么当函数值为定值时,梯度垂直于等值面?
前言本文主要对“为什么函数值为定值时,梯度垂直于等值面”这一问题进行了证明,解答了初学者在初次学习这一概念及相关证明过程中存在的疑惑,供阅读参考。文章目录前言1.梯度的概念和计算2.等值面的概念和深入理解3.证明和解释“为什么函数值为定值,梯度垂直于等值面?”1.梯度的概念和计算如果存在曲面w=w(x,y,z),设▽w是一个综合了w所有偏导数的向量:∇w=(∂w∂x,∂w∂y,∂w∂z)\nabla \mathbf{w}=\left( \frac{\partial \mathbf{w}}{\pa原创 2021-04-24 19:53:03 · 3738 阅读 · 2 评论 -
R-CNN架构流程的详细讲解
前言本文主要讲解了R-CNN的架构流程和该流程中很多不为人知的“心机”细节。作为深度学习在目标检测领域的“吃螃蟹”模型,R-CNN与传统计算机视觉的目标检测流程的对比也是非常具有创新意义的。文章目录前言R-CNN的相关理论讲解传统计算机视觉目标检测与R-CNN的异同比较?R-CNN算法的执行过程是什么?Resize有哪些操作方式?如何理解其中的分类模型和回归模型?分类模型是如何进行的?为什么选择FC7层的输出作为SVM训练的ROI的高阶特征?为什么进行fine-tuning?回归模型是如何进行的?回归模原创 2021-04-15 13:46:18 · 1555 阅读 · 0 评论 -
如何实现简单的人脸检测—基于Haar特征提取的Adaboost强化分类器实现
如何实现简单的图片人脸检测—基于Haar特征提取的Adaboost强化分类器实现分类器的测试结果:Ⅰ.背景知识了解: 1.什么是Haar特征提取? Haar特征很简单,分为三类:边缘特征、线性特征、中心特征和对角线特征,组合成特征模板。特征模板内有白色和黑色两种矩形,并定义该模板的特征值为白色矩形像素和减去黑色矩形像素和。Haar特征值反映了图像的灰度变化情况。 缺点:==矩形...原创 2020-02-22 16:09:55 · 1128 阅读 · 1 评论 -
理解机器学习中的偏差与方差
理解机器学习中的偏差与方差学习算法的预测误差, 或者说泛化误差(generalization error)可以分解为三个部分: 偏差(bias), 方差(variance) 和噪声(noise). 在估计学习算法性能的过程中, 我们主要关注偏差与方差. 因为噪声属于不可约减的误差 (irreducible error).首先抛开机器学习的范畴, 从字面上来看待这两个词:偏差.这里的偏指的是...转载 2019-09-04 18:26:08 · 243 阅读 · 0 评论 -
时间序列ARIMA模型
时间序列AIRMA模型平稳性要求:(1)经由样本时间序列所得到的拟合曲线在未来的一段时间内仍能顺着现有的形态“惯性”地延续下去。(2)平稳性要求序列的均值和方差不发生明显变化。严平稳与弱平稳:**严平稳:分布不随时间的改变而改变。**如白噪声(正态),期望始终为0,方差为1。**弱平稳:期望与相关系数(依赖性)不变。**未来某时刻的t值Xt就要依赖于它的过去信息,所以需要依赖性。差...原创 2019-08-11 17:49:50 · 1640 阅读 · 0 评论 -
支持向量机(SVM算法)和软间隔支持向量机概述
支持向量机算法(SVM算法)和软间隔支持向量机概述(01)决策边界:实现雷区与边界距离最大化(雷区就是边界上的点,找large margin)(02)距离的计算:注:第一步:构造超平面关系式:WTx+b=0得到WT*(x"-x’)=0,即W⊥(x’’-x’)。(W为向量,采用转置便于计算)第二步:dist(x,h)即为(x-x’)在W的单位方向上映射的模长。(03)数据标签定义:...原创 2019-08-10 17:16:29 · 1556 阅读 · 0 评论 -
贝叶斯算法讲解
贝叶斯算法贝叶斯公式:[外链图片转存失败(img-ytTj3qxO-1565086972621)(C:\Users\爱拼才会赢\Desktop\python\贝叶斯算法\图片\1.jpg)]实例1:拼写纠错:目标概率: p=(猜测输入者想输入的单词)/(输入者实际输入的单词)*p(h|D)=p(D|h)p(h)/p(D) // h:猜测输入者想输入的单词,D:输入者实际...原创 2019-08-06 18:33:18 · 318 阅读 · 0 评论 -
决策树与随机森林讲解
决策树与随机森林A–决策树:(*)决策树的结构:(*)决策树阶段:训练阶段:分类阶段:(*)熵原理分析:熵:物体内部的混乱程度。(01)熵的计算式:熵(n=i)的图像:例如:A={a,a,a,b,c}中的p(a)=3/5,p(b)=1/5,p©=1/5得到的熵:约为0.94而B={c,c,c,c,b}中的p©=4/5,p(b)=1/5得到的熵:约为0.49所以B...原创 2019-08-06 18:30:48 · 1402 阅读 · 0 评论 -
Xgboost集成算法与Adaboost算法概述
xgboost集成算法(Ⅰ)xgboost的基本原理:如图:基本原理: 采用集成思想,对目标进行不同基准的容器划分进行权值的相加计算,综合评估。项的权值公式:i为样本编号,j为叶子编号。目标函数: (yi)表示预测值,表示实际值。最优解函数: 、即:对一棵树的所有项的目标函数值相加求期望,并使得期望函数最小。采用集成的思想:、k为决策树编号。**...原创 2019-08-08 16:31:37 · 809 阅读 · 0 评论 -
回归和分类算法
回归和分类算法(Ⅰ)A-线性回归算法:如工资预测:(01)线性回归的公式:(02)线性回归误差分析:如上为线性回归误差公式。[外链图片转存失败(img-SNtXZdCC-1564833503390)(C:\Users\爱拼才会赢\Desktop\python\高斯分布.jpg)]条件:(1)样本预测结果相互独立。(2)样本预测结果处于于相同的误差范围。(3)均值为0,且方差为θ...原创 2019-08-03 20:19:12 · 2392 阅读 · 0 评论