spark
AsItachi
毕业于小专科和社会大学,走投无路来到IT混饭吃,靠坑蒙拐骗行走江湖,经常被公司赶走
展开
-
Zookeeper配置全面教程
Zookeeper的全面教程及报错解决话不多说,上配置:1.卸载centos自带的openjdkrpm -qa |grep java 查询出自带的jdk rpm包rpm -e xxxxxxx --nodeps 卸载自带的jdk包 忽略依赖卸载2.安装oracle jdk(1.8)配置profile文件vim /etc/profileexport JAVA_HOME=/export...原创 2020-03-14 19:57:19 · 253 阅读 · 0 评论 -
linux中spark启动进程命令以及顺序
linux中spark启动进程命令以及顺序1)首先启动hadoop① 在Master节点上进入hadoop安装目录下,执行sbin/start-dfs.sh② 在Slave1节点上进入hadoop安装目录下,执行sbin/start-yarn.sh③ 在Master节点上进入hadoop安装目录下,执行sbin/mr-jobhistory-daemon.sh start historyse...原创 2020-01-10 10:48:55 · 1530 阅读 · 0 评论 -
spark启动报错
今天在启动spark集群时遇到了一处错误:[root@bigdata01 spark]# bin/spark-shell --master spark://bigdata01:7070Setting default log level to “WARN”.To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use...原创 2020-01-02 10:58:40 · 748 阅读 · 0 评论