Spark 运行自带例子

1. 运行spark自带例子时遇到军
摘要由CSDN通过智能技术生成

1. 运行spark自带例子时遇到几个问题 

export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop/

# Submit Spark's ApplicationMaster to YARN's ResourceManager, and instruct Spark to run the SparkPi example
SPARK_JAR=./assembly/target/scala-2.9.3/spark-assembly-0.8.1-incubating-hadoop2.2.0.jar \
    ./spark-class org.apache.spark.deploy.yarn.Client \
      --jar ./assembly/target/scala-2.9.3/spark-examples-assembly-0.8.1-incubating.jar \
      --class org.apache.spark.examples.SparkPi \
      --args yarn-standalone \
      --num-workers 3 \
      --master-memory 2g \
      --worker-memory 2g \
      --worker-cores 1

直接运行时总报错,应该先启动 start-master.sh

2. 运行wordcount

export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop/

# Submit Spark's ApplicationMaster to YARN's Re
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值