大数据平台
文章平均质量分 93
wahoo0301
这个作者很懒,什么都没留下…
展开
-
Spark集群配置与运行过程中的问题与解决方法
问题: hbase启动报错SLF4J: Class path contains multiple SLF4J bindings方法: 重命名hbase里的jar包,mv ./lib/slf4j-log4j12-1.7.5.jar ./lib/slf4j-log4j12-1.7.5.jar-copy问题: 当master意外关闭时,worker节点还有datanode进程?方法: 参考https://blog.csdn.net/qq_34271119/article/details/794788..原创 2021-01-26 10:15:05 · 1044 阅读 · 0 评论 -
Spark集群搭建(Hadoop+Spark+Zookeeper+HBase)
目录准备硬件配置基础环境安装JAVA准备硬件准备三台装有Centos7系统的电脑。配置基础环境1.创建新用户及设置密码: adduser spark和passwd spark2.将新用户加入wheel组(可以使用sudo):usermod -aG wheel spark3.修改计算机名称修改主机名字: sudo vi /etc/hostname设置电脑的静态IP修改hosts文件: 通过sudo vi /etc/hosts添加如下内容192.168.11.137 master原创 2021-01-25 16:42:33 · 471 阅读 · 0 评论