- 博客(4)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Spark集群配置与运行过程中的问题与解决方法
问题： hbase启动报错SLF4J: Class path contains multiple SLF4J bindings方法： 重命名hbase里的jar包，mv ./lib/slf4j-log4j12-1.7.5.jar ./lib/slf4j-log4j12-1.7.5.jar-copy问题： 当master意外关闭时，worker节点还有datanode进程？方法： 参考https://blog.csdn.net/qq_34271119/article/details/794788..
2021-01-26 10:15:05
1034
原创 Spark集群搭建（Hadoop+Spark+Zookeeper+HBase）
目录准备硬件配置基础环境安装JAVA准备硬件准备三台装有Centos7系统的电脑。配置基础环境1.创建新用户及设置密码： adduser spark和passwd spark2.将新用户加入wheel组(可以使用sudo)：usermod -aG wheel spark3.修改计算机名称修改主机名字： sudo vi /etc/hostname设置电脑的静态IP修改hosts文件: 通过sudo vi /etc/hosts添加如下内容192.168.11.137 master
2021-01-25 16:42:33
457
原创 Spark UI界面
在单机模式下，spark的UI界面地址可以通过两种方式查询：1、调试窗口输出的信息：2、在jupter notebook中调用：注意：当spark应用停止运行（调用spark.stop()）时，UI界面无法访问。...
2020-04-15 10:17:38
445
空空如也
Pyspark DataFrame 是怎么画DAG图的？
2020-04-28
TA创建的收藏夹 TA关注的收藏夹
TA关注的人