文章目录
Spark安装与配置
Standalone模式
构建一个由Master+Slave构成的Spark集群,Spark运行在集群中。
软件依赖与版本号
安装Hive的前提条件是已经部署了Hadoop和Scala。具体安装Hadoop的方法见前面发的文章Hadoop伪分布式安装,安装Scala的方法见前面发的文章Kafka安装与配置。部署软件版本号如下所示:
软件名称 | 版本号 |
---|---|
Hadoop | 2.9.2 |
Spark | 2.4.4 |
Scala | 2.12.6 |
节点分配
名称 | ip | hostname |
---|---|---|
主节点 | 192.168.153.128 | master |
子节点1 | 192.168.153.129 | slave01 |
子节点2 | 192.168.153.130 | slave02 |