Spark开发环境搭建

一、下载spark安装包:http://spark.apache.org/downloads.html

二、将这个包解压到:/usr/spark 目录下

三、进入目录:/usr/spark/spark-2.1.0/bin 选择需要启动的脚本,
例如python的shell:./pyspark

启动成功后如下图所示:

四、编辑环境变量:vim ~/.bashrc
增加如下内容

Set Spark

export SPARK_HOME=/usr/spark/spark-2.1.0
PATH= PATH: SPARK_HOME/bin

这样在任意目录下都可以执行命令:pyspark

五、调整日志级别:
1、进入 /usr/spark/spark-2.1.0/conf 目录:
2、从 log4j.properties.template 文件中复制一份log4j.properties:
cp log4j.properties.template log4j.properties
3、找到下面这一行:
log4j.rootCategory=INFO, console
然后通过下面的设定降低日志级别,只显示警告及更严重的信息:
log4j.rootCategory=WARN, console

参与评论 您还未登录,请先 登录 后发表或查看评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:大白 设计师:CSDN官方博客 返回首页

打赏作者

恶魔的步伐

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值