Spark
关注
分享
扫一扫
u010463032
这个作者很懒，什么都没留下…
展开
-
Spark程序运行常见错误解决方法以及优化
task倾斜原因比较多，网络io,cpu,mem都有可能造成这个节点上的任务执行缓慢，可以去看该节点的性能监控来分析原因。以前遇到过同事在spark的一台worker上跑R的任务导致该节点spark task运行缓慢 一.org.apache.spark.shuffle.FetchFailedException 1.问题描述 这种问题一般发生在有大量转载 2018-01-02 16:55:27 · 7937 阅读 · 0 评论 -
Spark配置参数详解
以下是整理的Spark中的一些配置参数，官方文档请参考Spark Configuration。 Spark提供三个位置用来配置系统： Spark属性：控制大部分的应用程序参数，可以用SparkConf对象或者Java系统属性设置 环境变量：可以通过每个节点的conf/spark-env.sh脚本设置。例如IP地址、端口等信息 日志配置：可以通过log4j.p转载 2017-12-29 10:40:28 · 516 阅读 · 0 评论 -
window+sparksql+hive+debug sparksql本地环境搭建
步骤 1 deom代码 2 安装配置jdk1.8 3 安装配置scala2.11.18 4 导入pom.xml中依赖jar：注意scala版本要和spark依赖的保持一致 5 下载Hadoop的bin包,设定环境变量HADOOP_HOME，值为解压后的目录 6 下载winutils.exe将其放到$HADOOP_HOME/bi转载 2018-01-24 10:44:35 · 393 阅读 · 0 评论 -
window+idea+spark+debug windows下spark开发调试环境搭建
NO 步骤 1 搭建环境前写个demo代码 2 安装配置jdk1.8 3 安装配置scala2.11.18 4 导入pom.xml中依赖jar 5 下载Hadoop的bin包,设定环境变量HADOOP_HOME，值为解压后的目录 6 下载winutils.exe将其放到$HADOOP_HOME/bin/目录下 7转载 2018-01-24 10:47:06 · 213 阅读 · 0 评论