1、Spark预编译版本下载安装与启动

最新推荐文章于 2021-10-11 10:07:49 发布

weixin_33949359

最新推荐文章于 2021-10-11 10:07:49 发布

阅读量217

点赞数

文章标签： python 大数据 r语言

原文链接：https://my.oschina.net/u/164027/blog/1556588

版权

2019独角兽企业重金招聘Python工程师标准>>>

1、下载
预编译 spark-2.2.0-bin-hadoop2.7.tgz 源码编译略

2、安装解压 tar -xzvf spark-2.2.0-bin-hadoop2.7.tgz 移动 mv spark-2.2.0-bin-hadoop2.7 /usr/soft/ 配置环境变量 export SPARK_HOME=/usr/soft/spark-2.2.0-bin-hadoop2.7 export PATH=$PATH:$SPARK_HOME/bin 运行 spark-shell spark-shell local[4] spark-shell --master local[4]

3、hadoop maxtemp wordCount

4、spark-shell sc: SparkContext

scala> val file = sc.textFile("/root/aa.txt")
    file: org.apache.spark.rdd.RDD[String] = /root/aa.txt MapPartitionsRDD[1] at textFile at <console>:24

scala> file.count()
    res0: Long = 11

scala> file.first() res1: String = hello dkfdf

5、Resilient Distributed Dataset 弹性分布式数据集，自动重构取得恢复丢失的分区数据

6、通过编译方式安装spark 下载源码解压使用maven编译源码

轻量级高速集群计算。针对大规模的数据处理快速通用的引擎。比hadoop的MR的内存计算快100倍，磁盘10倍易于使用，可以使用java,scala,python,R语言

提供了80多个高级操作

转载于:https://my.oschina.net/u/164027/blog/1556588