spark
Choerodon2
做了10年java啦
展开
-
org.apache.spark.SparkException:job aborted due to stage failure spark driver maxResultSize (1024)
org.apache.spark.SparkException:job aborted due to stage failure spark driver maxResultSize (1024)默认大小 :spark.driver.memory = 1g调整上述参数到一个合适大小即可。一般如果存在广播变量的情况下需要调整driver内存。...原创 2021-02-24 15:32:50 · 3968 阅读 · 0 评论 -
spark row java.lang.NullPointerException:value at index is null
spark row java.lang.NullPointerException:value at index is null在用row.getString 或者row.getLong之前,先用isNullAt判空。原创 2021-02-08 09:34:39 · 1423 阅读 · 0 评论 -
spark yarn 提交任务后退出进程
spark提供如下配置配置默认值解释开始版本spark.yarn.submit.waitAppCompletiontrue在集群模式下,控制客户端是否等待退出,直到应用程序完成。如果设置为true,客户端进程将保持活动状态,并报告应用程序的状态。否则,客户端进程将在提交后退出。1.4写法./bin/spark-submit \ --class <main-class> \ --master <master-url> \ --depl原创 2021-01-19 09:28:45 · 1104 阅读 · 0 评论 -
spark官网无法下载spark问题
spark官网无法下载spark问题可以直接从spark提供的存档目录里面下载。http://archive.apache.org/dist/spark/原创 2021-01-13 16:36:49 · 1486 阅读 · 1 评论 -
spark集群安装
安装环境:linux centos6.x注意:此处直接使用spark是可以不需要安装hadoop的1、修改hosts文件(集群节点都要修改,这里是3台),修改地址为/etc/hosts 172.16.101.60 namenode 172.16.101.74 datanode1 172.16.101.75 datanode22原创 2017-12-06 09:20:40 · 255 阅读 · 0 评论 -
java spark(spark sql)操作cassandar
前期准备:cassandra集群(可以参考网站 https://cassandrazh.github.io/)spark集群(可以参考我的文章 http://www.jianshu.com/p/756209fa7078)1、spark中配置cassandar相应的jar包不配置会报如下异常:ClassNotFoundException:com.datastax.原创 2017-12-19 09:18:18 · 1695 阅读 · 0 评论