Spark
u010463032
这个作者很懒,什么都没留下…
展开
-
Spark程序运行常见错误解决方法以及优化
task倾斜原因比较多,网络io,cpu,mem都有可能造成这个节点上的任务执行缓慢,可以去看该节点的性能监控来分析原因。以前遇到过同事在spark的一台worker上跑R的任务导致该节点spark task运行缓慢 一.org.apache.spark.shuffle.FetchFailedException1.问题描述这种问题一般发生在有大量转载 2018-01-02 16:55:27 · 7912 阅读 · 0 评论 -
Spark配置参数详解
以下是整理的Spark中的一些配置参数,官方文档请参考Spark Configuration。Spark提供三个位置用来配置系统:Spark属性:控制大部分的应用程序参数,可以用SparkConf对象或者Java系统属性设置环境变量:可以通过每个节点的conf/spark-env.sh脚本设置。例如IP地址、端口等信息日志配置:可以通过log4j.p转载 2017-12-29 10:40:28 · 506 阅读 · 0 评论 -
window+sparksql+hive+debug sparksql本地环境搭建
步骤1deom代码2安装配置jdk1.83安装配置scala2.11.184导入pom.xml中依赖jar:注意scala版本要和spark依赖的保持一致5下载Hadoop的bin包,设定环境变量HADOOP_HOME,值为解压后的目录6下载winutils.exe将其放到$HADOOP_HOME/bi转载 2018-01-24 10:44:35 · 381 阅读 · 0 评论 -
window+idea+spark+debug windows下spark开发调试环境搭建
NO步骤1搭建环境前写个demo代码2安装配置jdk1.83安装配置scala2.11.184导入pom.xml中依赖jar5下载Hadoop的bin包,设定环境变量HADOOP_HOME,值为解压后的目录6下载winutils.exe将其放到$HADOOP_HOME/bin/目录下7转载 2018-01-24 10:47:06 · 204 阅读 · 0 评论