PySpark机器学习
飞鸟2010
这个作者很懒,什么都没留下…
展开
-
PySpark机器学习(1)——随机森林
本文主要在PySpark环境中实现随机森林算法:%pysparkfrom pyspark.ml.linalg import Vectorsfrom pyspark.ml.feature import StringIndexerfrom pyspark.ml.classification import RandomForestClassifierfrom pyspark.sql impor...原创 2018-04-23 18:37:36 · 2409 阅读 · 0 评论 -
PySpark机器学习(2)——GBDT
本文主要在PySpark环境中实现GBDT算法,实现代码如下所示:%pysparkfrom pyspark.ml.linalg import Vectorsfrom pyspark.ml.classification import GBTClassifierfrom pyspark.ml.feature import StringIndexerfrom numpy import allc...原创 2018-04-25 16:01:49 · 4027 阅读 · 0 评论 -
PySpark机器学习(3)——LR和SVM
本文主要在PySpark环境下实现LR和SVM算法,实现代码如下所示:1.LR实现代码:%pysparkfrom pyspark.sql import Rowfrom pyspark.ml.linalg import Vectorsfrom pyspark.ml.classification import LogisticRegression#1.训练#1.1 读取数据trainD...原创 2018-05-03 16:52:46 · 5065 阅读 · 3 评论 -
PySpark机器学习(4)——KMeans和GMM
本文主要在PySpark环境下实现经典的聚类算法KMeans(K均值)和GMM(高斯混合模型),实现代码如下所示:1.KMeans实现代码:%pysparkfrom pyspark.ml.clustering import KMeansfrom pyspark.ml.feature import StringIndexerfrom pyspark.ml.linalg import Vect...原创 2018-05-07 15:30:27 · 4141 阅读 · 2 评论