![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 87
机器学习算法相关
RayChiu_Labloy
研究领域:人工智能、工业互联网
展开
-
word2016使用MathType7.4.10
word2016使用mathtype7.4.10原创 2023-06-15 11:35:55 · 507 阅读 · 0 评论 -
浅谈人工智能
白话什么是人工智能和相关名词概念原创 2022-05-06 15:02:12 · 3061 阅读 · 0 评论 -
谈一下常见的损失函数
整理一下常用的损失函数原创 2022-03-15 08:00:00 · 749 阅读 · 0 评论 -
详细讲解深层神经网络DNN
本文详细讲述了神经网络有浅层到深层的发展历史过程,并讲解了深层网络的优点和问题,以及如何防止梯度爆炸、过拟合。原创 2021-11-17 14:20:22 · 7133 阅读 · 0 评论 -
非常详细的讲解让你深刻理解神经网络NN(neural network)
本文详细讲述了神经网络的历史由来,并解释了一些相关概念,例如神经元、M-P模型、BP算法,并且分析了如何进行正向传播和反向更新权重参数等知识。原创 2021-11-16 16:05:42 · 10631 阅读 · 0 评论 -
神经网络结构可视化工具Netron
作者:RayChiu_Labloy版权声明:著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处在实际的项目中,经过会遇到各种网络模型,需要我们快速去了解网络结构。如果单纯的去看模型文件,脑海中很难直观的浮现网络的架构。这时,就可以使用netron可视化工具,可以清晰的看到每一层的输入输出,网络总体的架构,而且支持各种不同网络框架,简单好用。Netron 是神经网络、深度学习和机器学习模型的查看器。支持的模型结构:...原创 2021-11-12 10:01:21 · 1627 阅读 · 0 评论 -
统计学基本概念:均值、方差、标准差、协方差
作者:RayChiu_Labloy版权声明:著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处目录1、平均值、均值2、方差、标准差方差:标准差:3.协方差1、平均值、均值所有数据之和除以数据点的个数,以此表示数据集的平均大小。2、方差、标准差度量随机变量的离散程度方差: 写成协方差得样子:标准差:3.协方差度量两个随机变量(变化趋势)的相似程度,定义如下:...原创 2021-11-10 16:06:14 · 5480 阅读 · 0 评论 -
机器学习之EM算法
作者:RayChiu_Labloy版权声明:著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处【如果对您有帮助,交个朋友给个一键三连吧,您的肯定是我博客高质量维护的动力!!!】...原创 2021-11-11 08:00:00 · 898 阅读 · 0 评论 -
机器学习算法之GMM模型
作者:RayChiu_Labloy版权声明:著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处单高斯分布GM估计参数关于高斯分布高尔顿钉板自然界中,很多事物的取值服从高斯分布。如高尔顿钉板:每次弹珠往下走的时候,碰到钉子会随机往左还是往右走,可以观测到多次随机过程结合的结果趋近于正太分布。单维高斯概率密度函数 其中表示均值,表示方差。单维高斯GM参数估计过程 我们的方法是...原创 2021-11-12 08:15:00 · 4788 阅读 · 0 评论 -
机器学习之朴素贝叶斯算法
关于NLP中的概率图模型,我们知道目前最流行的算法思想包含如下两大流派:基于概率论和图论的概率图模型;基于人工神经网络的深度学习理论。贝叶斯公式与朴素贝叶斯算法贝叶斯公式最早是由英国神学家贝叶斯提出来的,用来描述两个条件概率之间的关系。在之前的条件概率定义中,我们知道 :可推导出:由此,推广到随机变量的范畴,设X,Y为两个随机变量,得到贝叶斯公式:其中,P(Y)叫作先验概率,P(Y|X)叫作后验概率,P(Y,X)是联合概率在机器学习的视角下,我们把...原创 2021-11-08 08:15:00 · 2860 阅读 · 0 评论 -
机器学习算法之KNN最近邻详解和python实现
作者:RayChiu_Labloy版权声明:著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处【如果对您有帮助,交个朋友给个一键三连吧,您的肯定是我博客高质量维护的动力!!!】...原创 2021-11-05 08:15:00 · 1290 阅读 · 0 评论 -
机器学习之聚类算法(一:聚类概述和相似度计算)
目录0.机器学习的四大任务1.定义2.聚类分析(Cluster Analysis)3.聚类分析到底有什么用?4.聚类分析的典型应用:目标用户的群体分类 不同产品的价值组合探测,发现离群点,异常值5.聚类的五种类别(1)基于层次的聚类原理:算法流程代表算法:BIRCH、Chameleon、CURE等BIRCH、Chameleon、CURE三种算法优缺点比较:(2)基于划分的聚类原理:基于划分的聚类代表方法有:k-me...原创 2021-10-31 09:53:10 · 9957 阅读 · 1 评论 -
深度学习中的数学公式(二:线性代数、概率论、数理统计相关公式)
目录线性代数行列式按行(列)展开定理矩阵向量1.有关向量组的线性表示2.有关向量组的线性相关性3.有关向量组的线性表示4.向量组的秩与矩阵的秩之间的关系6.坐标变换公式 7.向量的内积 8.Schmidt正交化9.正交基及规范正交基 线性方程组矩阵的特征值和特征向量 1.矩阵的特征值和特征向量的概念及性质2.相似变换、相似矩阵的概念及性质3.矩阵可相似对角化的充分必要条件 4.实对称矩阵的特征值、特...原创 2021-10-29 16:31:36 · 1055 阅读 · 0 评论 -
深度学习中的数学公式(一:高等数学和三角函数相关公式)
高等数学导数的定义导数和微分的概念:或者:左右导数导数的几何意义和物理意义函数 f(x)在 x0 处的左、右导数分别定义为:函数的可导性与连续性之间的关系Th1: 函数 f(x)在 x0 处可微 <=> f(x)在 x0 处可导Th2: 若函数在点x0处可导,则 y=f(x) 在点x0处连续,反之则不成立。即函数连续不一定可导。Th3: 存在 <=>平面曲线的切线和法线...原创 2021-10-31 08:00:00 · 750 阅读 · 0 评论 -
机器学习算法之随机森林
目录随机森林的定义随机森林的生成Out of bag data问题总结特点优点:缺点:随机森林的定义 我们上一篇文章中机器学习算法之集成学习_RayChiu757374816的博客-CSDN博客介绍了集成学习,随机森林属于bagging思想,是基于一堆完全生长的决策树组成,随机森林的每一棵决策树之间是没有关联的,这里就体现了它的随机性,随机的目的就是为了泛化能力强,吐过每一颗树都一样就没意义了。在得到森林之后,当有一个新的输入样本进...原创 2021-10-30 08:15:00 · 200 阅读 · 0 评论 -
机器学习算法之EL集成学习
目录什么是集成学习如何利用数据生成不同的模型集成学习的结果结合策略平均法投票法学习法集成学习的两种分类BaggingBoostingstacking什么是集成学习集成学习(Ensemble learning)通过构建并结合多个学习器来完成学习任务,有时也被称为多分类器系统、基于委员会的学习等。其实准确来说集成学习不是一个机器学习算法,它是一种思想思路,就是最终结果由多个不同的算法模型决定,也就是三个臭皮匠顶个诸葛亮的思路。...原创 2021-10-29 12:05:06 · 391 阅读 · 0 评论 -
机器学习算法之主成分分析PCA降维
谈一下降维降维操作是干什么降维就是一种对高维度特征数据预处理方法。降维是将高维度的数据保留下最重要的一些特征,去除噪声和不重要的特征,从而实现提升数据处理速度的目的。在实际的生产和应用中,降维在一定的信息损失范围内,可以为我们节省大量的时间和成本。降维也成为应用非常广泛的数据预处理方法。降维具有如下一些优点:1) 使得数据集更易使用。2) 降低算法的计算开销。3) 去除噪声。...原创 2021-10-29 11:26:27 · 1182 阅读 · 0 评论 -
机器学习算法详解之决策树(二)
目录生成决策树模型的递归什么时候停止如果让递归一直持续下去剪枝处理前剪枝后剪枝样本数据的处理离散化缺失值处理回顾经典决策树CART、ID3、C4.5ID3和C4.5比较CART回归树原理怎样对输入空间进行划分?即如何选择划分点?CART回归算法流程:示例最后几个决策树的比较图生成决策树模型的递归什么时候停止如果让递归一直持续下去 决策树生成算法是递归地生成决策树,知道不能终止。这样产生的决策树往往分类...原创 2021-10-26 13:51:31 · 1425 阅读 · 0 评论 -
机器学习算法详解之决策树(一)
决策树是什么不解释了直接上树决策树的特点1.可以处理非线性问题2.可解释性强,可以树状图形化表示,直观好理解3.模型推理简单效率极高决策树在训练的时候计算量是非常大的,因为要在每个节点全量遍历数据,但是一但模型生成部署,推理计算的极快,本身就是if else的事情。4.缺点是不容易显示地使用函数表达,不可微强行用数学表达形式表达决策树使用推理模型的时候此时是模型已经通过大量数据生成模型树,需要用它来预测了。...原创 2021-10-26 10:19:24 · 1493 阅读 · 0 评论 -
机器学习基础问题集整理之特征工程篇
机器学习一些知识点原创 2021-10-24 08:15:00 · 235 阅读 · 0 评论 -
详解SVM支持向量机算法(五:概率输出、合页损失、多分类、回归模型)
SVM的概率化输出模型预测结果校准——Platt ScalingPlatt scaling is a method for transforming SVM outputs from to posterior probabilities (Platt, 1999). [1]Platt (1999) proposed transforming SVM predictions to posterior probabilities by passing...原创 2021-10-22 09:38:06 · 5646 阅读 · 0 评论 -
详解SVM支持向量机算法(四:坐标上升和SMO算法)
目录背景坐标上升算法定义过程举个求解的栗子基于坐标上升的SMO算法SMO算法步骤为什么要选两个参数SVM算法推导过程:目标函数转为二元函数目标函数转为一元函数一轮迭代中第一步求出a1和a2先不加约束条件求解加上约束条件对上边求出的结果修剪取临界情况SVM过程中的启发式选择变量背景启发式选取第一个变量启发式选取第二个变量阈值b的更新背景前边三篇文章我们说了关于SVM的三种类别以及中间目标函数...原创 2021-10-22 08:00:00 · 646 阅读 · 0 评论 -
详解SVM支持向量机算法(三:软间隔SVM和非线性SVM)
目录背景线性支持向量机(软间隔SVM)硬间隔的问题引入松弛变量目标函数的优化生成拉格朗日函数软间隔原始问题软间隔对偶问题求解思路:对偶问题的求解先求L函数对w,b,ξ的极小值分析软间隔支持向量得出结论总结软间隔SVM算法分析求解过程设定惩罚系数C-构造优化问题用SMO算法求出α*计算W找到全部的支持向量,计算出b求b均值非线性支持向量机升维处理线性不可分SVM的升维维度爆炸和计算量问题引入核函数取代计算非线性...原创 2021-10-21 08:00:00 · 2630 阅读 · 0 评论 -
详解SVM支持向量机算法(二:拉格朗日函数和硬间隔SVM)
三类支持向量机分:1.线性可分支持向量机(硬间隔SVM)硬间隔最大化2.线性支持向量机软间隔最大化3.非线性支持向量机升维(核函数)硬间隔SVM定义:基于理想状态下的SVM,也就是完全按照SVM思想找出一个超平面(其实就是确定一组w和b参数),让距离超平面最近的点越远越好。硬间隔SVM的损失函数:超平面用分类函数表示,当f(x)等于0的时候,x便是位于超平面上的点,而f(x)大...原创 2021-10-20 13:44:29 · 1600 阅读 · 0 评论 -
我这样说范数和模你应该懂L1、L2正则咋回事了吧
目录向量的范数定义常用的向量的范数:L0范数:L1范数: L2范数: Lp范数:L∞范数:向量的模正则化中的L1和L2应用向量的范数定义在一维空间中,实轴上任意两点距离用两点差的绝对值表示。绝对值是一种度量形式的定义。范数是对函数、向量和矩阵定义的一种度量形式。任何对象的范数值都是一个非负实数。使用范数可以测量两个函数、向量或矩阵之间的距离。向量范数是度量向量长度的一种定义形式。范数在机器学习中通常用于...原创 2021-10-19 12:00:12 · 2625 阅读 · 0 评论 -
详解SVM支持向量机算法(一:感知器和SVM的优点)
目录了解线性和非线性线性分类模型-感知器感知器的算法思想:分类超平面回顾逻辑回归逻辑回归的 0,1 转换到最初我们要的线性分类器结果-1,1几何距离和函数距离如何计算点到超平面的距离找到几何距离和函数距离感知器的损失函数SVM支持向量机关于支持向量机支持向量机的思想感知器、逻辑回归、SVM的不同点SVM思想的优点:了解线性和非线性两个变量之间按照比例成直线关系,在数学上可理解为一阶导数是个常数,这样的两个变量...原创 2021-10-20 08:00:00 · 2124 阅读 · 0 评论 -
归一化、标准化、正则化公式相关小记
特征缩放面对特征数量较多的时候,保证这些特征具有相近的尺度(无量纲化),可以使梯度下降法更快的收敛。这两张图代表数据是否均一化的最优解寻解过程(左边是未归一化的),从这两张图可以看出,数据归一化后,最优解的寻优过程明显会变得平缓,更容易正确的收敛到最优解在前边讲梯度下降的时候咱们也提到过,一般在最优化前会加归一化操作机器学习最优化算法之梯度下降_RayChiu757374816的博客-CSDN博客原因就是这样会减少数据模型的震荡,以最快的速度达到最优化。缩放的方法...原创 2021-10-18 15:24:59 · 3029 阅读 · 0 评论 -
机器学习算法之多分类softmax回归
目录逻辑回归的Sigmoid和 Softmax的区别和关系区别联系回头看softmax公式的由来推导过程证明多项分布属于指数分布族关于损失函数前边我们说到二分类用逻辑回归算法,多分类场景还是得上softmax回归。逻辑回归的Sigmoid和 Softmax的区别和关系区别Sigmoid :Softmax 函数:对于一个长度为 K 的任意实数矢量,Softmax 可以把它压缩为一个长度为 K 的、取值...原创 2021-10-15 13:39:06 · 1200 阅读 · 0 评论 -
机器学习算法之逻辑回归
线性回归做分类任务的问题 我们以二维情况举例,就是根据肿瘤大小预测是否是恶性肿瘤的需求中(高维情况原理一样),我们用线性回归拟合一条线,然后取个肿瘤大小阈值,大于阈值的我们判定是恶行肿瘤。但是这种情况是居于数据非常规则,没有什么异常噪声数据。如果有噪声则鲁棒性很差,就成下面的这种情况了可以看到无法找到一个合适的阈值来区分是不是恶性肿瘤。逻辑回归详解逻辑回归名称的由来逻辑回归不是一个回归的算法,逻辑回归是一个分类...原创 2021-10-14 16:13:32 · 773 阅读 · 0 评论 -
机器学习优化算法-牛顿法
牛顿法的数学理解:使用牛顿法的原因并不是所有的方程都有求根公式,或者求根公式很复杂,导致求解困难,例如五次及以上多项式方程没有根式解(就是没有像二次方程那样的万能公式),这个是被伽罗瓦用群论做出的最著名的结论。我们可以利用牛顿法,迭代逼近最优解达到求解目的。谈一下线性逼近我们先说一个结论,就是切线是曲线的线性逼近,怎么理解呢?假设 f(x) = x^2 这个函数,图像如下:函数 f(x) 上的任意一点 A ,找出对应的切线 q(x),我们可...原创 2021-10-13 16:37:09 · 765 阅读 · 0 评论 -
机器学习最优化算法之梯度下降
定义解释梯度下降法(英语:Gradient descent)是一个一阶最优化算法,通常也称为最速下降法。梯度下降法是一种求局部最优解的方法,对于F(x),在a点的梯度是F(x)增长最快的方向,那么它的相反方向则是该点下降最快的方向,原理上可以将函数比作一座山,站在某个山坡上,往四周看,从哪个方向向下走一小步,能够下降的最快; 用梯度下降法的目的就是以最快的速度 求出 局部 最优解。为什么使用梯度下降的原因在上一篇文章中机器学习算法之线性回归...原创 2021-10-11 10:15:25 · 1939 阅读 · 1 评论 -
机器学习算法之线性回归
目录什么是线性回归:一元线性回归:定义举例-信用卡授信额度预测假设银行数据库中的数据是这样可视化尝试线性拟合发现有误差讲一下中心极线定理再谈误差谈一下概率密度函数回到预测值和误差函数谈一下最大似然估计谈一下似然函数似然函数与概率密度函数样本集整体误差的似然函数再次谈误差如何能最小凸函数求解找极值多元线性回归:与一元线性回归得关系和区别:求偏导为什么用梯度下降法什么是线性回归:线性回归是一个来自...原创 2021-09-29 08:23:47 · 1124 阅读 · 0 评论