Spark Mllib API 一览

Spark Mllib 介绍


classification 分类 贝叶斯,二元SVM分类,逻辑回归分类


clustering 聚类 k-means聚类,LDA主题模型


fpm 关联规则 FP-Grownth关联规则


inalg 矩阵,向量 矩阵,向量,线性代数计算


optimization 优化计算 梯度下降法,少内存拟牛顿法,最小二乘法


recommendation 推荐 ALS推荐


regression 回归 逻辑狄思芬回归


tree 决策树 决策树分类,回归






-----------------------------------------------------------------------------------




spark-shell standom启动


执行内存2g 驱动内存1g   使用cpu2个 使用节点1个 master地址
spark-shell --executor-memory 2g --driver-memory 1g total-executor-cores2 --num-executors 1 --master spark://IP地址:7077




spark-shell yarn启动


cd $SPARK_HOME/bin
./spark-shell \
--master yarn-client \
--executor-memory 1G \
--num-executors 10