- 博客(12)
- 收藏
- 关注
RSS订阅原创 机器学习——分类算法之决策树
机器学习——分类算法之决策树前言属性划分1、信息熵（ID3算法）前言主要涉及ID3算法、C4.5算法、CART算法、决策树的剪枝、连续值和缺失值的处理。决策树是基于树结构来进行决策的，一般的一颗决策树包含一个根结点、若干个内部结点和若干个叶结点。叶结点对应于决策结果，其他每个结点则对应于一个属性测试，每个结点包含的样本集合根据属性测试的结果被划分到子结点中，根结点包含样本全集。决策树的工作...
2019-09-30 10:20:07
437
原创 机器学习——损失函数
机器学习——损失函数前言一、分类问题的损失函数1、0-1损失（one-zero loss）2、Log Loss3、Focal Loss4、相对熵、KL散度（Relative Entropy/Kullback-Leibler Divergence）5、指数损失（Exponential Loss）6、Hinge Loss二、回归问题的损失函数1、均值平方差（Mean Squared Error,MSE...
2019-09-22 20:16:53
1660
原创 机器学习——分类算法之感知机
机器学习——分类算法之感知机前言符号函数感知机模型感知机算法1、原始形式2、对偶形式代码前言感知机算法（perceptron）是用于二分类的线性分类模型，将输入实例划分为正例和负例的一个超平面，属于判别模型。感知机算法旨在求出将训练数据进行线性划分的分类超平面，基于误分类的损失函数，利用梯度下降法对损失函数进行极小化。符号函数符号函数应该都知道，这里简单过一下。表达式：f(x)={+1...
2019-09-20 22:05:14
882
原创 机器学习——分类算法之逻辑回归
机器学习——分类算法之逻辑回归前言逻辑回归(Logistic Regression)1、Sigmoid函数2、算法推导3、代码前言逻辑回归也被称为对数几率回归，注意这里面说的回归并不是真正意义上的回归算法，其实它是一个经典的分类算法，至于为什么会有“回归”命名，后面会讲到。逻辑回归(Logistic Regression)1、Sigmoid函数说逻辑回归算法之前必须整明白Sigmoid函...
2019-09-18 20:46:15
809
2
原创 机器学习——贝叶斯算法和朴素贝叶斯算法
机器学习——贝叶斯算法和朴素贝叶斯算法前言贝叶斯算法1、贝叶斯决策论算法示例前言先理解下贝叶斯算法要解决的问题：正向概率： 假设袋子里面有N个白球，M个黑球，伸手进去摸一把，摸出黑球的概率有多大？很简单：M/(N+M)逆向概率： 如果事先并不知道袋子里黑白球的比例，而是闭着眼睛摸出一个（或好几个）球，观察这些取出来的球的颜色之后，那么就可以对此袋子里面的黑白球的比例作出什么样的推测...
2019-09-17 20:29:27
2300
原创 极大似然估计和贝叶斯估计
极大似然估计和贝叶斯估计极大似然估计1、概述2、计算过程3、总结贝叶斯估计1、计算过程2、总结对比极大似然估计1、概述极大似然估计有什么用？答：已知某个随机样本(x1,x2,...,xn)(x_{1},x_{2},...,x_{n})(x1,x2,...,xn)符合某种概率分布，但是其中某个具体参数θ\thetaθ不知道这时可以用极大似然估计得到θ^\widehat {\theta}...
2019-09-17 14:30:54
478
原创 机器学习——回归算法之正交匹配追踪算法
机器学习——回归算法之正交匹配追踪算法（Orthogonal Matching Pursuit，OMP）前言匹配追踪算法(Matching Pursuit,MP)1、算法思想2、算法过程3、MP算法的问题正交匹配追踪算法(Orthogonal Matching Pursuit,OMP)1、算法思想2、算法流程3、代码前言学习正交匹配追踪算法之前需要看懂匹配追踪算法(MP)，显然OMP是在MP的...
2019-09-15 20:07:47
5990
原创 机器学习——回归算法之最小角回归（Least angle regression， LARS）
机器学习——回归算法之最小角回归（Least angle regression， LARS）前言算法思想示例代码前言最小角回归涉及到了相关系数（current correlations）,但这里并不会具体定义相关系数的定义，只需要在知道它是用来衡量两个变量相关程度的就可以了。算法思想这里用一张图来说明算法的基本思想：从简单的情况说明，假设有两个样本x1和x2，真实标签为y2^(图中绿色的...
2019-09-10 21:53:16
2509
原创 机器学习——回归算法之岭回归、Lasso、ElasticNet
机器学习——回归算法之岭回归、Lasso、ElasticNet前言回顾正则化岭回归（Ridge Regression）LASSO RegressionElasticNet四种回归算法对比前言前面一篇介绍了线性回归模型的算法推导，岭回归、Lasso、ElasticNet都是在线性模型的基础上添加约束项（正则化），具体推导如下。回顾线性模型优化的目标函数：(1)J(θ)=12∑k=1m(yk...
2019-09-09 21:13:16
633
原创 机器学习——回归算法之线性回归
机器学习——回归算法之线性回归前言线性回归算法推导过程梯度下降1、批量梯度下降（GD）2、随机梯度下降(SGD)3、小批量梯度下降法（MBGD）代码实现前言机器学习算法按照“用途”可分为回归、分类、聚类、降维、模型选择和预处理，前面的几篇已经介绍完降维和预处理，从这篇开始更新回归、分类、聚类等算法。关于回归和分类的区别，请自行百度，这一篇介绍回归模型。线性回归一个数据集有m个样本：X={X...
2019-09-08 20:35:52
237
1
原创 机器学习——特征工程之K均值降维
机器学习——特征工程之K均值降维前言一、K-均值聚类（K-means）1、算法推导2、举例二、降维前言1、先直观解释什么是平面（线性子空间）和流形（非线性子空间）：答：如果线性子空间是一张平展的纸，那么非线性流形的一个简单例子就是卷起来的纸，可以把流形看作一个可以以多种方式伸展和卷动的曲面，平面（线性子空间）可以推广为流形（非线性子空间）。2、为什么能够使用降维手段实现降维？（后面有图）...
2019-09-06 16:55:15
1029
1
原创 机器学习——特征工程之数据降维
机器学习——特征工程之数据降维:低维嵌入（一）前言低维嵌入（MDS）主成分分析（PCA）前言前面关于特征工程已经可以将大部分数据集转成期望的纯数字形式，但是有时数据维数太多会造成维数灾难，，所以需要降维。降维有几种方法：低维嵌入(MDS)、主成分分析(PCA）、线性判别分析(LDA)、核化线性降维（KPCA）、局部线性嵌入（LLE）、SVD。如果有可能，会一一说明（此部分内容大部分来自西瓜书）...
2019-09-05 19:01:35
1436
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人