spark安装&运行
迷途小码
大数据及后台开发
展开
-
Spark运行环境的安装(Standalone)
Spark功能还是蛮强的,安装的东西可是不少,好在搞完一次就可以一直用(除非用不上)。这里介绍安装需要的软件和步骤。不同机器可能还有些设置不一样的,需要自己去摸索,毕竟这个是开源软件,好事是有问题可以看源代码,坏事也是有问题了要去看源代码。1、准备工作 scala-2.9.3:一种编程语言,下载地址:http://www.scala-lang.org/download/转载 2016-05-10 14:35:24 · 580 阅读 · 0 评论 -
Spark Streaming Logging Configuration
======refer:http://shzhangji.com/blog/2015/05/31/spark-streaming-logging-configuration/======Spark Streaming applications tend to run forever, so their log files should be properly handled, to转载 2016-05-18 14:42:17 · 763 阅读 · 0 评论 -
spark-submit工具参数说明
转自:http://my.oschina.net/u/140462/blog/519409======================================================================执行时需要传入的参数说明Usage: spark-submit [options] [app options]参数名称转载 2016-06-20 18:03:57 · 5967 阅读 · 0 评论 -
在Yarn上运行spark-shell和spark-sql命令行
spark-shell On Yarn如果你已经有一个正常运行的Hadoop Yarn环境,那么只需要下载相应版本的Spark,解压之后做为Spark客户端即可。需要配置Yarn的配置文件目录,export HADOOP_CONF_DIR=/etc/hadoop/conf 这个可以配置在spark-env.sh中。运行命令:cd $SPARK_HOME/bin./s转载 2016-09-12 09:01:26 · 938 阅读 · 0 评论 -
Spark On Yarn中spark.yarn.jar属性的使用
refer:http://www.cnblogs.com/luogankun/p/4191796.html今天在测试spark-sql运行在yarn上的过程中,无意间从日志中发现了一个问题:spark-sql --master yarn14/12/29 15:23:17 INFO Client: Requesting a new applicatio转载 2017-06-07 11:14:58 · 3817 阅读 · 0 评论 -
Spark任务提交jar包依赖解决方案
方法一:spark-submit –jars根据spark官网,在提交任务的时候指定–jars,用逗号分开。这样做的缺点是每次都要指定jar包,如果jar包少的话可以这么做,但是如果多的话会很麻烦。方法二:extraClassPath提交时在spark-default中设定参数,将所有需要的jar包考到一个文件里,然后在参数中指定该目录就可以了,较上一个方便很多转载 2017-10-26 15:57:31 · 2235 阅读 · 0 评论