机器学习hierarchical clustering_Spark mllib机器学习算法库，五大类算法介绍

spark mllib

从spark2.0开始，基于rdd api实现的算法库，进入到维护模式，spark官方建议你在使用spark机器学习框架的时候，建议你使用基于DataFrame API实现的算法库Spark-ML1，基于DataFrame API实现的算法库   Spark-ML   官方说明文档：http://spark.apache.org/docs/latest/ml-guide.html   所在的包：org.apache.spark.ml2，基于RDD API实现的算法库   Spark-MLlib   官方说明文档：http://spark.apache.org/docs/latest/mllib-guide.html   所在的包：org.apache.spark.mllib 

在spark mllib中，主要提供了五大类我们常用的算法，分别是：

• 分类算法(Classification)
• 回归算法(regression)
• 聚类算法(Clustering)
• 推荐算法(Collaborative filtering)
• 频繁模式挖掘算法(Frequent pattern mining)

分类算法(Classification)

分类算主要用于，预测两个类别中的一个或多个类别中的一个，结果是一个离散的值，它是监督学习算法。分类算法有二分类和多分类

1，二分类算法(Binary Classification)a,支持向量机(linear SVMs)b,逻辑回归算法(logistic regression)c,决策树(decision trees)d,朴素贝叶斯算法(naive Bayes)e,随机森林算法(Random Forests)f,梯度提升树算法(Gradient-Boosted Trees)     应用场景，比如：预测人的性别：男  女预测广告是否点击：是  否   

2，多分类算法(Multiclass Classification)a,逻辑回归算法(logistic regression)b,决策树(decision trees)c,朴素贝叶斯算法(naive Bayes)d,随机森林算法(Random Forests)运用场景，比如：预测图形类别：圆形，长方形，正方形...预测水果类别：香蕉，苹果，葡萄，梨...

回归算法(regression)

预测一个连续的值，是监督学习算法，在spark mllib中回归算法主要有以下几个：

a,线性回归(linear regression)进行参数优化后，会得到两个优化的线性回归算法L1正则化===》 Lasso regressionL2正则化===》 ridge regressionb,决策树(decision trees)c,随机森林算法(Random Forests)d,梯度提升树算法(Gradient-Boosted Trees)应用场景，比如：预测气温的趋势(4-15°)预测订单量(300-500单)

聚类算法(Clustering)

它是无监督学习算法(没有样本数据作为参考)，典型聚类算法是

k-means算法(K-均值算法)

推荐算法(Collaborative filtering)

它的主要作用用于商品的一些推荐，比如：电商网站看了又看，买了有买， 或在头条上看新闻，会根据人的喜好进行推荐

交替最小二乘法(alternating least squares (ALS))：根据用户对商品的评价，来评判用户的喜好

频繁模式挖掘算法(Frequent pattern mining)

也称之为关联规则算法，主要用于发现寻找事物之间的关联度，绝大多数用于电商推荐

FP-growth：频繁模式增长挖掘算法association rules：关联规则算法PrefixSpan：前缀投影模式挖掘算法，频繁序列挖掘算法

欢迎小伙伴们 关注+转发 +评论区留言，发表您的观点哦！点击下方蓝色字体 “了解更多” 可获取更多资料。