![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 57
零落_World
https://github.com/cdj0311
展开
-
机器学习(七):各种分类器的实现
分别实现了svm,逻辑回归,ridge回归,gbdt和神经网络,代码如下:import urllibimport matplotlibimport osmatplotlib.use('Agg')from matplotlib import pyplot as pltfrom mpl_toolkits.mplot3d import proj3dimport numpy as npf原创 2016-09-30 16:56:24 · 2317 阅读 · 0 评论 -
机器学习(六):叠加树模型
叠加树模型(Additive tree models, ATMs)是一种建立在多个决策树或者回归树之上的集成模型。许多经典的模型可以看做是特殊的叠加树模型,例如random forest, adaboost with trees, gradient boosting trees等。ATM可以看做是一种N个决策树模型的集成,这里的N是树的数量,每个树输出一个真实的值,那么ATM的输出为:原创 2016-09-30 16:44:13 · 2550 阅读 · 2 评论 -
机器学习(五):Bagging与Boosting
https://www.cs.rit.edu/~rlaz/prec20092/slides/Bagging_and_Boosting.pdf https://neilxu.gitbooks.io/mlnb/content/random_forests.html BaggingBagging(Breiman, 1996) 通过训练许多基本分类器进行投票分类,每种基本分类器(如决策树,神经网络原创 2016-09-30 16:04:28 · 888 阅读 · 0 评论 -
机器学习(四):逻辑回归
逻辑回归通过使用逻辑函数来估计概率,从而测量分类独立变量与一个或多个非独立变量之间的关系,而逻辑函数就是所谓的累积逻辑分布.从更多的数学观点来看,逻辑回归比线性回归对数据有更加强烈的假设: 逻辑回归是判别模型,因此可以直接学习p(y|x): 所有的数学计算过程如下: 使用MLE或者MAP进行权值估计: 损失函数——交叉熵损失 Q: 学习率与交叉熵损原创 2016-08-30 16:40:48 · 416 阅读 · 0 评论 -
机器学习(二):线性回归
简单的线性回归标准的线性回归模型通过一系列的预测参数的线性组合来预测一个数字变量,其系数通过最小化训练集上的平方预测误差的总和进行学习。 线性回归严重依赖于数据的假设,其更多的数学观点如下: 普通最小二乘法与上述假设之间的关系: 使用MLE或MAP进行权重估计: 损失函数——最小平方损失: Q:模型与损失函数之间有什么关系?原创 2016-08-20 16:58:45 · 294 阅读 · 0 评论 -
机器学习(一):一些常识
生成模型与判别模型先给个例子感受一下:如果要判断说话者说的哪种语言,我们应该怎么做? 对于输入的数据x,为了得到它的标签y,那么生成模型需要学习联合概率分布,而判别模型需要学习条件概率分布. 参数学习与非参学习参数学习 非参学习(并不是没有参数) 偏差与方差首先定义常规的监督学习模型: 偏差与方差的定义: 用一组实例来理解偏差与方差:原创 2016-08-14 11:25:09 · 515 阅读 · 0 评论