docker spark单机版

1.把准备好的安装包文件上传的宿主机器

	jdk-8u11-linux-x64.tar.gz
	scala-2.12.8.tgz
	spark-2.3.0-bin-hadoop2.7.tgz
	这些文件尽量去官网下载,我这些都是官网下的,速度不慢。

2.拉取centos7作为基础容器

	docker pull centos:7

3.创建sparkDockerFile文件

	vi sparkDockerFile
	#输入一下内容
	FROM centos:7
	MAINTAINER  shizc
	ADD jdk-8u11-linux-x64.tar.gz /usr/local/
	ADD scala-2.12.8.tgz /usr/local/
	ADD spark-2.3.0-bin-hadoop2.7.tgz /usr/local/
	
	ENV JAVA_HOME /usr/local/jdk1.8.0_11
	ENV CLASSPATH $JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
	ENV SPARK_HOME /usr/local/spark-2.3.0-bin-hadoop2.7
	ENV SCALA_HOME /usr/local/scala-2.12.8
	ENV PATH=$JAVA_HOME/bin:$SPARK_HOME/bin:$SCALA_HOME/bin:$PATH

4.build出来一个spark镜像

	docker build -t spark:v1 . -f sparkDockerFile

5.启动spark镜像

	#启动
	docker run -d -it spark:v1 /bin/bash

6.进入镜像验证

		#查看启动的spark:vi的id
		docker ps
		#根据id进入容器
		docker exec -it 8b553feafe94 /bin/bash
		#输入spark-shell  进行验证
  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值