- 博客(4)
- 问答 (1)
- 收藏
- 关注
原创 Spark集群配置与运行过程中的问题与解决方法
问题: hbase启动报错SLF4J: Class path contains multiple SLF4J bindings方法: 重命名hbase里的jar包,mv ./lib/slf4j-log4j12-1.7.5.jar ./lib/slf4j-log4j12-1.7.5.jar-copy问题: 当master意外关闭时,worker节点还有datanode进程?方法: 参考https://blog.csdn.net/qq_34271119/article/details/794788..
2021-01-26 10:15:05
1034
原创 Spark集群搭建(Hadoop+Spark+Zookeeper+HBase)
目录准备硬件配置基础环境安装JAVA准备硬件准备三台装有Centos7系统的电脑。配置基础环境1.创建新用户及设置密码: adduser spark和passwd spark2.将新用户加入wheel组(可以使用sudo):usermod -aG wheel spark3.修改计算机名称修改主机名字: sudo vi /etc/hostname设置电脑的静态IP修改hosts文件: 通过sudo vi /etc/hosts添加如下内容192.168.11.137 master
2021-01-25 16:42:33
457
原创 Spark UI界面
在单机模式下,spark的UI界面地址可以通过两种方式查询:1、调试窗口输出的信息:2、在jupter notebook中调用:注意:当spark应用停止运行(调用spark.stop())时,UI界面无法访问。...
2020-04-15 10:17:38
445
空空如也
Pyspark DataFrame 是怎么画DAG图的?
2020-04-28
TA创建的收藏夹 TA关注的收藏夹
TA关注的人