sjmz30071360的专栏

前提：Java 和 Hadoop已经安装一、下载hive安装包地址：http://mirrors.shu.edu.cn/apache/hive/hive-3.0.0/apache-hive-3.0.0-bin.tar.gz[root@master usr]# wget http://mirrors.shu.edu.cn/apache/hive/hive-3.0.0/apache-hiv...

一、下载安装包http://www-eu.apache.org/dist/zookeeper/stable/zookeeper-3.4.12.tar.gz二、解压tar xzvf zookeeper-3.4.12.tar.gz三、配置环境变量vi /etc/profile末尾追加：# zookeeper environmentexport ZOOKEEPER_HOME...

1、修改$ZOOKEEPER_HOME/bin目录下的zkEnv.sh文件   ZOO_LOG_DIR指定想要输出到哪个目录，   ZOO_LOG4J_PROP，指定INFO,ROLLINGFILE的日志APPENDER.     54 if [ "x${ZOO_LOG_DIR}" = "x" ]     55 then     56     ZOO_LOG_DIR="/usr/zook...

操作系统：Linux（CenOS7）Spark集群至少需要有JDK、Hadoop、Scala、Spark一、安装Spark依赖的Scala（每个节点都安装）1.1 下载Scala（2.11.12）wget "https://downloads.lightbend.com/scala/2.11.12/scala-2.11.12.tgz"1.2 解压、配置环境变量vi /etc...

问题描述：在使用spark过程中，有时会因为数据增大，而出现下面两种错误:java.lang.OutOfMemoryError: Java heap spacejava.lang.OutOfMemoryError：GC overhead limit exceeded这两种错误之前我一直认为是executor的内存给的不够，但是仔细分析发现其实并不是executor内存给的...