![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
trista0929
这个作者很懒,什么都没留下…
展开
-
spark eclipse开发调试 本地单机模式
windows环境下使用eclipse开发spark程序,报错Exception in thread "main" org.apache.spark.SparkException: A master URL must be set in your configuration at org.apache.spark.SparkContext.<init>(SparkContext.scala:转载 2017-11-24 17:18:59 · 2128 阅读 · 0 评论 -
spark windows开发调试环境
spari在windows搭建开发测试环境,需要进行配置 1、JDK 本人用的是jdk1.7.0_15 2、hadoop-2.6.0.tar.gz 下载hadoop-2.6.0.tar.gz,解压,假如解压到D:\hadoop-2.6.0,环境变量添加HADOOP_HOME=D:\hadoop-2.6.0,path添加%HADOOP_HOME%\bin; 3、spark-1.6.0-bin原创 2017-11-24 17:39:45 · 491 阅读 · 0 评论 -
Spark常用参数解释及建议值
4.6.3 Spark常用参数解释及建议值spark的默认配置文件位于堡垒机上的这个位置: $SPARK_CONF_DIR/spark-defaults.conf,用户可以自行查看和理解。需要注意的是,默认值优先级最低,用户如果提交任务时或者代码里明确指定配置,则以用户配置为先。 用户再理解参数含义的基础上,可根据具体任务情况调整参数。以下常用参数配置均可以通过 --conf XXX=Y ...原创 2019-07-23 14:38:57 · 941 阅读 · 1 评论