大数据
文章平均质量分 88
Angelo-Liu
以人工智能为驱动、大数据为导向、猎头顾问为副业......
展开
-
分类和回归(一)-线性模型
分类和回归spark.mlib提供了多种方法用于用于二分类、多分类以及回归分析。 下表介绍了每种问题类型支持的算法。问题类型支持方法二分类线性SVMS、逻辑回归、决策树、随机森林、梯度增强树、朴素贝叶斯多分类逻辑回归、决策树、随机森林、朴素贝叶斯回归线性最小二乘法原创 2017-10-19 17:30:34 · 2068 阅读 · 0 评论 -
分类和回归(三)-逻辑回归
逻辑回归1 二元逻辑回归回归是一种很容易理解的模型,就相当于y=f(x),表明自变量x与因变量y的关系。最常见问题如医生治病时的望、闻、问、切,之后判定病人是否生病或生了什么病, 其中的望、闻、问、切就是获取的自变量x,即特征数据,判断是否生病就相当于获取因变量y,即预测分类。最简单的回归是线性回归,但是线性回归的鲁棒性很差。逻辑回归是一种减小预测范围原创 2017-10-19 17:35:47 · 2475 阅读 · 0 评论 -
分类和回归(二)-SVMs(支持向量机)
线性支持向量机1 介绍线性支持向量机是一个用于大规模分类任务的标准方法。它的目标函数线性模型中的公式(1)。它的损失函数是海格损失,如下所示:默认情况下,线性支持向量机训练时使用L2正则化。线性支持向量机输出一个SVM模型。给定一个新的数据点x,模型通过w^Tx的值预测,当这个值大于0时,输出为正,否则输出为负原创 2017-10-19 17:35:00 · 1367 阅读 · 0 评论 -
分类和回归(四)-线性回归
线性回归回归问题的条件或者说前提是1) 收集的数据2) 假设的模型,即一个函数,这个函数里含有未知的参数,通过学习,可以估计出参数。然后利用这个模型去预测/分类新的数据。1 线性回归的概念线性回归假设特征和结果都满足线性。即不大于一次方。收集的数据中,每一个分量,就可以看做一个特征数据。每个特征至少对应一个未知的参数。这样就形成了一个线性原创 2017-10-19 17:41:09 · 2597 阅读 · 1 评论 -
分类和回归(五)-朴素贝叶斯
朴素贝叶斯1 介绍朴素贝叶斯是一种构建分类器的简单方法。该分类器模型会给问题实例分配用特征值表示的类标签,类标签取自有限集合。它不是训练这种分类器的单一算法,而是一系列基于相同原理的算法:所有朴素贝叶斯分类器都假定样本每个特征与其他特征都不相关。 举个例子,如果一种水果其具有红,圆,直径大概3英寸等特征,该水果可以被判定为是苹果。尽管这些特征相互依赖或者有原创 2017-10-19 17:42:56 · 5393 阅读 · 0 评论