一个人的人生

继续上一篇《基于kubernetes构建spark集群(RC模式)》，沿用上一篇rbac配置，以及PV、PVC配置，本篇将采用Deployment方式进行部署spark集群，以及增加thriftserver服务配置。 1、构建镜像 这里采用spark-2.4.4-bin-hadoop2.7.ta​​r.gz包部署，先解压文件到/opt/spark目录。 （1）将需要第三方扩展包导入/opt/spark/spark-2.4.4 -bin-hadoop2.7/jars目录 #根据自己需要导入 elasticse

基于kubernetes部署spark的两种方式 方式一：使用kubernetes作为集群管理器(Cluster Manager)，类似与mesos和yarn，使用方式可搜索github查看running-on-kubernetes。但这个部署方式，一是还不成熟(目前Deprecated)，不推荐在生产环境使用. 方式二：standalone的方式，即便是不用集群也能很方便的调用sbin下的脚本来部署，而使用k8s有几点好处，一是提高机器使用率(一般服务器资源白天使用率较高，晚上空闲，刚好能拿来跑数据)；

1、架构规划 需要增加Load balancer，使得node节点的访问流量可以负载到master类型节点。 keeplive：配置虚拟IP，检查当前节点状态； haproxy：类似于niginx，负载均衡(虚拟IP会漂移到其中一个master节点)，可以平均分配流量到master1，master2； haproxy与nginx区别：nginx是master-workers多进程，每个进程单线程，多核CPU能充分利用；haproxy是多线程，单进程就能实现超高性能，虽然haproxy也能多进程，但是网上资

8、部署CNI网络 8.1、node节点部署CNI （1）下载地址 https://github.com/containernetworking/plugins/releases/download/v0.8.6/cni-plugins-linux-amd64-v0.8.6.tgz #并将文件拷贝到虚拟机/opt目录； （2） 文件准备 #创建文件夹 mkdir /opt/cni/bin #解压文件 tar zxvf cni-plugins-linux-amd64-v0.8.6.tgz -C /

1、K8s架构速览 Kubernetes+是一个开源的容器编排引擎，用来对容器化应用进行自动化部署、扩缩和管理。 2、整体部署流程说明 （1）创建多台虚拟机，安装Linux操作系统； （2）操作系统初始化； （3）为etcd何apiserver创建自签证书； （4）部署etcd集群； （5）部署master组件； （6）部署node组件； （7）部署集群网络插件； 3、 环境准备 （1）安装要求 一台或者多台虚拟机，操作系统CentOS7.x-86_64或者更高版本； 硬件配置：2GB或者更多RAM，2

##4、部署kubernetes node节点 ###4.1、docker安装 下载地址：https://download.docker.com/linux/static/stable/x86_64/docker-19.03.9.tgz 以下所有node节点，这里采用二进制安装，用yum安装也类似； （1）解压二进制文件 tar zxvf docker-19.03.9.tgz mv docker/* /usr/bin （2）systemd管理docker cat > /usr/lib/syst

2、ApiServer自签证书 apiserver通过https方式进行访问，因此需要证书自签，有两种实现方式： （1）添加可信赖的IP列表（此处使用）； （2）携带ca证书发送； （1）自签证书颁发机构(CA) 接着《基于二进制方式搭建K8s集群-ETCD篇》文章，进入/TLS/k8s目录。 cd /TLS/k8s 自签CA(生成CA证书和私钥）： 【1】生成CA 配置文件 #过期时间10年 cat > ca-config.json << EOF { "signing":

1.前置说明 （1）创建多台虚拟机，安装Linux操作系统； （2）操作系统初始化； （3）为etcd何apiserver创建自签证书； （4）部署etcd集群； （5）部署master组件； （6）部署node组件； （7）部署集群网络插件； 1. 部署环境 （1）安装要求 一台或者多台虚拟机，操作系统CentOS7.x-86_64或者更高版本； 硬件配置：2GB或者更多RAM，2个CPU或者更多CPU，硬盘30G+； 可以访问外网，以便拉取镜像，如果服务器不能上网，需提前下载镜 并导入到节点； 禁用s

2. K8s部署 2.1、kubeadm部署 kubeadm是官方社区推出的一个用于快速部署kubernates集群工具，该工具通过两条命令即可完成一个kubernetes集群的部署： （1）创建一个Master节点 kubeadm init （2）将Node节点加入到当前集群中 $kubeadm join <Master节点的IP和端口>，详细步骤如下： 2.1.1、虚拟机系统配置 （1）关闭防火墙 systemctl stop firewalld #临时关闭防火墙 system

1.0 Docker 使用 （1）登录本地仓库 docker login 仓库地址 -username xx -password (2) 搜索镜像 docker images| grep 镜像名称 (3)拉取镜像 docker pull 镜像名称 (4) 推送镜像 docker push 镜像名称 (4) 从当前目录Dockerfile文件构建镜像 docker build -t 镜像名称:Tag . docker build -t acimagehub.com.cn/projectCode_dev