Docker 下安装 Spark

1. 安装Docker, 见上篇。

2. 安装ubuntu:    docker run --name dcSpark ubuntu                     

3. 运行 Bash:     docker exec -ti dcSpark /bin/bash                      

4. apt-get update

5. apt-get install software-properties-common

6. 添加PPA软件源：  add-apt-repository ppa:webupd8team/java

7. 然后更新系统,刷新软件源：  apt-get update

8. 安装 JDK:  apt-get install oracle-java8-installer

9. 查看 版本：  java -version

 

 1 ## Java
 2 sudo apt-get update
 3 sudo apt-get install default-jdk
 4 
 5 ## Scala
 6 sudo apt-get remove scala-library scala
 7 sudo wget http://scala-lang.org/files/archive/scala-2.12.1.deb
 8 sudo dpkg -i scala-2.12.1.deb
 9 sudo apt-get update
10 sudo apt-get install scala
11 
12 ## SBT
13 echo "deb https://dl.bintray.com/sbt/debian /" | sudo tee -a /etc/apt/sources.list.d/sbt.list
14 sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 2EE0EA64E40A89B84B2DF73499E82A75642AC823
15 sudo apt-get update
16 sudo apt-get install sbt

 

下载Spark:

mkdir download

cd download

wget https://www.apache.org/dyn/closer.lua/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz

解压：

1 sudo tar -zxf ~/下载/spark-1.6.0-bin-without-hadoop.tgz -C /usr/local/
2 cd /usr/local
3 sudo mv ./spark-1.6.0-bin-without-hadoop/ ./spark
4 sudo chown -R hadoop:hadoop ./spark      

运行 Spark Shell,   到 Spark的目录下，执行

./bin/spark-shell

测试：（Scala)

1 val textFile = sc.textFile("file:///usr/local/spark/README.md")
2 
3 textFile.count()  // RDD 中的 item 数量，对于文本文件，就是总行数
4 // res0: Long = 95
5  
6 textFile.first() // RDD 中的第一个 item，对于文本文件，就是第一行内容
7 // res1: String = # Apache Spark

参考： http://www.powerxing.com/spark-quick-start-guide/

转载于:https://www.cnblogs.com/ybst/p/9050660.html