- 博客(16)
- 收藏
- 关注
RSS订阅原创 变量编码方式one-hot encoding，label encoding
在机器学习进行数据预处理阶段，由于数据的脏乱等原因，往往要对数据进行清洗，因为绝大多数模型不支持分类型数据的输入，所以我们要对它进行编码。在机器学习中，我们一般使用两种编码形式。变量编码一、特征编码类型1. one-hot encoding2. label encoding二、两边编码方式的优缺点1. one-hot encoding2.label encoding三、两种编码方式应该如何去使用...
2019-11-17 18:45:31
832
原创 机器学习中最大似然估计MLE和最大后验估计MAP
最大似然和最大后验一、频率派与贝叶斯学派二、最大似然估计(MLE)三、最大后验估计(MAP)四、他们之间的联系在机器学习算法中，最大似然和最大后验实在损失函数中很重要的一部分。一、频率派与贝叶斯学派对于概率看法不同有两大派别,分别是频率学派与贝叶斯学派。他们看待世界的视角不同，导致他们对于产生数据的模型参数的理解也不同。频率学派认为世界是确定的。在多次重复实验中事件趋于一个稳定的值p，...
2019-11-17 18:29:55
329
原创 机器学习梯度下降法和牛顿法的对比
梯度下降法和牛顿法对比分析一、梯度下降法1.梯度下降的思想2.对其的推导二、牛顿法三、梯度下降法和牛顿法的对比机器学习的本质是建立优化模型，通过优化方法，不断迭代参数向量，找到使目标函数最优的参数向量。最终建立模型通常用到的优化方法：梯度下降方法、牛顿法、拟牛顿法等。这些优化方法的本质就是在更新参数。一、梯度下降法1.梯度下降的思想通过搜索方向和步长来对参数进行更新。其中搜索方向是目标函...
2019-11-14 22:34:42
361
原创 机器学习中特征工程的方法
目录一、什么是特征工程二、特征工程常用的方法1.时间戳处理2.数据类别属性编码化3.分箱/分区4.交叉验证5.特征选择6.特征缩放7.特征提取一、什么是特征工程机器学习是当前数据分析、建模领域的热点内容。很多人在平时的工作中都会用到机器学习的算法。特征工程是机器学习中不可或缺的一部分，在机器学习领域中占有非常重要的地位。数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。那特征...
2019-11-14 21:02:35
692
原创 stacking和blending的对比分析
stacking和blending的对比分析stacking构造stacking模型Blendingstackingstacking是一种分层模型集成框架。以两层为例，第一层由多个基学习器组成，其输入为原始训练集，第二层的模型则是以第一层基学习器的输出作为特征加入训练集进行再训练，从而得到完整的stacking模型。构造stacking模型以两层stacking模型为例，要得到stacki...
2019-11-13 21:57:06
364
原创 集成学习bagging和boosting
目录bagging和boostingbaggingBoosting二者的区别bagging和boosting在集成学习中，是由多个弱学习器的集成结合强学习器，有两种方法实现。bagging1.思想简述对某一数据集，通过T次的随机采样，我们就可以得到T个采样集，对于这T个采样集，然后我们可以分别独立的训练出T个弱学习器，然后我们再对这T个弱学习器结合成为强学习器。要注意的是，每次进行随机...
2019-11-13 21:38:34
366
原创 决策树的损失函数及理解
目录1.决策树的损失函数2.对决策树损失函数的理解1.决策树的损失函数在《统计学习方法》5.1.4决策树学习这一节中，书中有提到：决策树的损失函数通常是正则化的极大似然函数。在决策树学习算法的过程中，为了尽可能正确分类训练样本，结点划分过程将不断重复，有时会造成决策树分支过多，这时就可能因为训练样本学得“太好”了，以至于把训练集自身的一些特点当作所有数据都具有的一般性质而导致过拟合。所以我们...
2019-11-12 23:23:08
3496
原创 对条件熵和信息增益关系的理解
目录一、信息熵一、信息熵信息熵是考虑该随机变量的所有可能取值，即所有可能发生事件所带来的信息量的期望。其公式为：其中 p(xi)p(x_i)p(xi)代表随机事件X为 xix_ixi的概率还有一种表示方法是：假定当前样本集合D中第kkk类样本所占的比例为pk(k=1,2…，∣γ∣)p_k(k=1,2…，|γ|)pk(k=1,2…，∣γ∣),则信息熵的公式为：...
2019-11-12 22:41:52
468
原创 对ID3算法的理解及其优缺点
决策树ID3算法1、定义2、理解3、ID3算法的过程3、ID3算法的优缺点优点缺点4、为什么倾向特征选项较多的特征在机器学习决策树中，最常用的三种算法有三种：ID3，C4.5，CART。在这里我将我对ID3算法的理解说一下。1、定义ID3算法的核心是在决策树各个结点上应用信息增益准则选择特征，递归地构建决策树。ID3名字中的ID是It-erative Dichotomiser(迭代二分器）...
2019-11-12 19:43:34
16098
原创 对SVM损失函数的理解
SVM损失函数一、什么是SVM二、SVM的损失函数1.Hinge Loss变种优化2.合页损失函数在机器学习中，SVM（支持向量机）是非常重要的，在处理模型过程中，SVM中在利用损失函数计算经验风险的时候起到了很大的作用，接下来我们来看一下SVM的损失函数。一、什么是SVMSVM即支持向量机（Support Vector Machine, SVM） 是一类按监督学习（supervised l...
2019-11-12 00:52:20
13748
原创 向量积中的内积、外积及其表现形式
向量积的形式和表示一、内积（向量点乘）1.定义2.点乘3.点乘的几何意义4.基本性质二、外积（叉乘、向量积）1.定义2.叉乘公式3.外积的几何意义4.基本性质今天在学习SVM算法的时候，涉及到了向量的运算，所以我在这里进行了整理。首先我先对向量进行一下介绍：向量是由n个实数组成的一个n行1列（n*1）或一个1行n列（1*n）的有序数组；一、内积（向量点乘）1.定义向量的点乘,也叫向量的...
2019-11-11 19:06:56
8526
原创 对精确率、召回率、P-R曲线的理解
在机器学习中，预测出的结果与真实的结果往往会有一些差异，为了描述这些差异，我们引入了一些方法。一、错误率与精度对于二分类问题，我们在开头引入图形来帮助大家详细说明一下：上面图片中全是预测数据，从中间划分，左侧为真实的正类，右侧为真实的负类，中间圆圈内所有包含的范围都是预测的正类，圆圈外的数据都是预测的负类。所以我引入一个表格帮助大家分析一下：错误率和精度不仅在二分类任务中适用，还适用...
2019-11-08 00:47:05
557
原创 在线性回归中极大似然和最小二乘法的关系
我在Logistic Regression回归中对损失函数用极大似然估计推导，在线性回归中对损失函数用最小二乘法推导，发现在推导梯度的过程中，结果是一样的，所以我对两种方法进行了分析对比。一、最小二乘法1.定义当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得模型能最好地拟合样本数据，也就是估计值和观测值之差的平方和最小。2.在线性回归中的损失函数θ表示要求的参数，h(x...
2019-11-07 23:50:59
1467
原创 机器学习之过拟合欠拟合的理解
过拟合与欠拟合的理解一.什么是过拟合，欠拟合？1.过拟合：学习器把训练样本学得"太好了"，很可能已经把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质,这样就会导致泛化能力下降,这就是过拟合。换一种说法就是模型过度拟合，在训练集（training set）上表现好，但是在测试集上效果差，也就是说在已知的数据集合中非常好，但是在添加一些新的数据进来训练效果就会差很多，造成这样的原因是...
2019-11-07 00:37:23
2070
原创 梯度下降三种方法的python代码实现
梯度下降三种方法的python代码实现梯度下降的三种方法梯度下降的三种方法有:1.批量梯度下降(Batch Gradient Descent)2.随机梯度下降(Stochastic Gradient Descent)3.小批量梯度下降(Mini-batch Gradient Descent)我们要利用代码来实现的话,首先定义一个可以保存图像的函数,代码如下#导包import num...
2019-11-06 00:09:37
2994
原创 初学机器学习总结(梯度下降)
初学机器学习总结及梯度下降初学机器学习总结认识机器学习机器学习分类在监督学习方面无监督学习方面机器学习流程机器学习方法三要素梯度下降算法1.如何理解梯度？2.线性回归中的梯度下降算法3.梯度下降算法的变形形式1.批量梯度下降算法—BGD2.随机梯度下降算法—SGD3.小批量梯度下降算法—MBGD4.梯度下降算法调优初学机器学习总结你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页...
2019-11-04 23:03:24
623
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人