这段时间在做大数据方面的开发,使用Hadoop、HBase、Spark、Spart Streaming、Kafka、Docker、Kubernetes等等平台与组件,在服务器运维方面也在模仿着别人重复造轮子。要基于这些系统进行开发,就必须搭建一套稳定的服务器环境,虽然网上有大量的文章与教程,但在学习使用的过程中,还是踩了无数个坑,熬了不知多少个夜晚与周末,直到现在才算是真正上手,能快速搭建好平台,对出现的问题也能快速响应做出处理,当然,现在的积累还是远远不够,还需要继续努力,深入研究这些系统的内核与运行机制。
接下来这些章节就是这段时间的学习成绩,记录下来,以后有需要时方便查看。
1. 集群部署规划(5节点)
在本地创建了5台虚拟机,每台分配2核CPU、2G内存和20G硬盘
IP分别为:
192.168.10.90 192.168.10.91 192.168.10.93 192.168.10.95 192.168.10.96
具体的安装规划如下
服务 | master | master_backup | node1 | node2 | node3 | 备注 |
---|---|---|---|---|---|---|
IP | 192.168.10.90 | 192.168.10.91 | 192.168.10.93 | 192.168.10.95 | 192.168.10.96 | 各服务器ip地址< |