glisten0317的博客

操作系统：Ubuntu 20.04原有分区 /dev/sda2 大小8G，扩容后 /dev/sda2 大小100G。

以建筑信息模型（BIM）、地理信息系统（GIS）、物联网（IoT）等技术为基础，整合城市地上地下、室内室外、历史现状未来多维多尺度信息模型数据和城市感知数据，构建起三维数字空间的城市信息有机综合体，并以此规划、建造、管理城市的过程和结果的总称。

按硬件形态分类按服务规模分类按处理器类型分类服务器和PC机的区别区分项服务器PC机运算能力高（多处理器）低（单处理器）存储能力大容量、可扩展容量较小、不易扩展使用人数多人1人使用方式网络接入键盘、鼠标、显示器工作时间7 x 24小时数小时协同工作集群单机部件冗余电源、风扇无冗余系统监控IPMI无监控中央处理器（Central Processing Unit, CPU）是一台计算机的运算核心和控制核心。

部署过程中，如遇问题可重新初始化k8s或彻底卸载k8s、docker重新部署。然后使用kubeadm join重新加入集群。删除之前生成的密钥等信息。

IPIP的calico-node启动后会拉起一个linux系统的tunnel虚拟网卡tunl0，并由二进制文件allocateip给它分配一个calico IPPool中的地址，log记录在本机的/var/log/calico/allocate-tunnel-addrs/目录下。在外网服务器上，通过https://docs.tigera.io/下载calico.yaml文件，查找对应的镜像地址。A.token：连接master使用的token，这里不用修改，后面会生成永久的token；

将下载好的rpm文件上传至master01的/opt/kubernetes下，并创建repo的镜像源。通过ansible的yum模块安装kubelet、kubeadm和kubectl。在外网服务器上，配置kubernetes的yum源。为所有节点创建repo文件。下载相关安装包及依赖包。

Docker-Compose是用来管理容器的，类似用户容器管家，我们有N多台容器或者应用需要启动的时候，如果手动去操作，是非常耗费时间的，如果有了Docker-Compose只需要一个配置文件就可以帮我们搞定，但是Docker-Compose只能管理当前主机上的Docker，不能去管理其他服务器上的服务。替换DNS条目以反映域。将harbor01上的服务器证书、密钥和CA文件复制到/etc/docker/certs.d/harbor01.k8s.local/目录下。在harbor01上，进行证书转换。

该文件作为Docker Engine的配置管理文件，里面几乎涵盖了所有docker命令行启动可以配置的参数。使用户可以统一管理不同系统下的docker daemon配置。docker默认分配IP为172.17.0.1/16，可能与实际生产环境IP冲突，因此需要根据实际情况对docker分配IP进行调整。如果在daemon.json文件中进行配置，需要docker版本高于1.12.6(在这个版本上不生效，1.13.1以上是生效的)。将下载好的安装文件上传到master01上的/opt/docker-ce中。

在master01上创建/etc/sysctl.d/k8s.conf，添加网桥过滤及内核转发配置。配置inventory文件，/root/ansible/inventory。创建playbook，/root/ansible/hostname.yml。创建repo文件，/etc/yum.repos.d/local.repo。安装ntp时钟，/root/ansible/timesync.yml。修改配置文件，/root/ansible/ansible.cfg。修改配置文件，/etc/chrony.conf。

目录Part.01 Kubernets与dockerPart.02 Docker版本Part.03 Kubernetes原理Part.04 资源规划Part.05 基础环境准备Part.06 Docker安装Part.07 Harbor搭建Part.08 K8s环境安装Part.09 K8s集群构建Part.10 容器回退

K8s是用来对docker容器进行管理和编排的工具，其是一个基于docker构建的调度服务，提供资源调度、均衡容灾、服务注册、动态扩容等功能套件，其作用如下所示：① 数据卷：pod中容器之间数据共享，可以使用数据卷② 应用程序健康检查：容器内服务可能发生异常导致服务不可用，可以使用健康检查策略保证应用的健壮性③ 复制应用程序实例：控制器维护着pod的副本数量，保证一个pod或者一组同类的pod数量始终可用④ 弹性伸缩：根据设定的指标（CPU利用率等）动态的自动缩放pod数。

第二章 Docker版本老旧版本：docker/docker.io/docker-engine/lxc-dockerRHEL/CentOS软件源中的Docker包名为docker；Ubuntu软件源中的Docker包名为docker.io；而很古老的Docker源中Docker也曾叫做lxc-docker。这些都是非常老旧的Docker版本，基本不会更新到最新的版本。另外，17.04以后，包名从docker-engine改为docker-ce，因此从现在开始安装，应该都使用docker-ce这个包。

Part.01 Kubernets与dockerPart.02 Docker版本Part.03 Kubernetes原理Part.04 资源规划Part.05 基础环境准备Part.06 Docker安装Part.07 Harbor搭建Part.08 K8s环境安装Part.09 K8s集群构建Part.10 容器回退。

添加Spark2服务需要重启HDFS、YARN、MapReduce2、Hive、HBase等相关服务。

下载链接为上传到hdp01上，并复制到/var/www/html下。

选择kafka进行安装选择hdp03-05作为kafka的broker。

在外网服务器上，下载ambari-flume-service服务下载flume的tar包，下载链接为将apache-flume-1.9.0-bin.tar.gz放到ambari-flume-service目录下执行编译生成rpm包，需要安装rpm-build命令，需要进入到shell脚本目录下执行。

Part.3 资源规划Part.17 安装Spark2Part.18 安装FlinkPart.19 安装KafkaPart.20 安装Flume。

选择HBase进行安装。

利用ambari创建的MySQL作为MetaStore，创建用户hive及数据库hive。