Kubernetes研发环境搭建方案

已于 2022-02-18 17:40:42 修改
阅读量527 收藏 5
点赞数 1
分类专栏： Kubernetes 文章标签： kubernetes rancher Jenkins harbor linux
于 2020-05-12 11:02:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39680564/article/details/106022212
版权

文章目录

一、架构总览

1.1 架构图

在这里插入图片描述

1.2 流程说明

在这里插入图片描述

二、服务规划

服务主机IPCPU内存硬盘系统
GitLab192.168.1.41816G100GCentOS 7.6
Harbor/Jenkins/Kubectl192.168.1.40816G500GCentOS 7.6
Rancher192.168.1.10816G300GCentOS 7.6
k8s node1192.168.1.1148G300GCentOS 7.6
k8s node2192.168.1.1248G300GCentOS 7.6
k8s node3192.168.1.1348G300GCentOS 7.6

准备好以上六台虚拟机（资源有限，只能把harbor和Jenkins放一起了）

三、软件安装

软件名版本描述
GitLab-ce11.2.3代码仓库
Harbor1.10.2镜像仓库
Jenkins2.222.3持续集成工具
Docker-ce19.03.8容器技术
Rancher2.4.3集成环境，用于部署Kubernetes
Kubectl1.18.2kubernetes的客户端命令行
Kubernetes1.17.5容器编排、管理工具

3.1 标准化环境

所有主机需要进行操作

先安装一些基本工具

yum install -y vim wget ntp net-tools unzip lrzsz

3.1.1 修改主机名

# 192.168.1.41
hostnamectl set-hostname gitlab.server
# 192.168.1.40
hostnamectl set-hostname harbor.server
# 192.168.1.10
hostnamectl set-hostname rancher.server
# 192.168.1.11
hostnamectl set-hostname node1.k8s
# 192.168.1.12
hostnamectl set-hostname node2.k8s
# 192.168.1.13
hostnamectl set-hostname node3.k8s

3.1.2 关闭防火墙、Selinux

# 关闭并设置为开机禁用
systemctl stop firewalld && systemctl disable firewalld
# 查看防火墙状态
systemctl status firewalld
● firewalld.service - firewalld - dynamic firewall daemon
   Loaded: loaded (/usr/lib/systemd/system/firewalld.service; disabled; vendor preset: enabled)
   Active: inactive (dead)
     Docs: man:firewalld(1)

# 临时关闭
setenforce 0
# 永久关闭
vim /etc/selinux/config
SELINUX=enforcing 改为 SELINUX=disabled
# 查看Selinux状态
getenforce #查看状态为Permissive

3.1.3 启动NTP服务

注：NTP服务可以只在k8s集群中安装，保证集群时间一致
关闭chrony服务，该服务会影响到NTP服务的开机启动

systemctl stop chronyd && systemctl disable chronyd

设置NTP服务

vim /etc/ntp.conf
# 将时钟服务器更改为如下4个国内服务器
server 0.cn.pool.ntp.org
server 1.cn.pool.ntp.org
server 2.cn.pool.ntp.org
server 3.cn.pool.ntp.org

启动时间同步服务器

systemctl start ntpd \
&& systemctl enable ntpd \
&& ntpdate -u 0.cn.pool.ntp.org \
&& hwclock --systohc \
&& date

3.1.4 安装Docker-ce

使用到的软件都是基于docker，所以docker也作为标准化环境了

卸载老版本

yum remove docker \
docker-client \
docker-client-latest \
docker-common \
docker-latest \
docker-latest-logrotate \
docker-logrotate \
docker-engine

安装Docker repository

# 安装依赖包
yum install -y yum-utils device-mapper-persistent-data lvm2 
# 设置仓库源（国内用阿里云的）
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

安装docker-ce 19.03.8版本

yum install -y docker-ce-19.03.8

添加私有仓库harbor的地址

mkdir /etc/docker/
vim /etc/docker/daemon.json

添加如下内容

{
  "data-root":"/home/dockerlib",
  "registry-mirrors": ["https://1e7waog4.mirror.aliyuncs.com"],
  "insecure-registries": ["192.168.1.40"]
}

data-root：修改docker的根目录
registry-mirrors：镜像仓库改为阿里云的
insecure-registries：私有加密仓库设置为harbor的（稍后搭建harbor）

启动docker

systemctl daemon-reload && systemctl start docker && systemctl enable docker

docker命令补全

yum install -y bash-completion \
&& source /usr/share/bash-completion/bash_completion \
&& source /usr/share/bash-completion/completions/docker

3.2 安装Gitlab-ce

根据规划192.168.1.41主机安装GitLab

docker run --detach \
  --hostname 192.168.1.41 \
  --publish 443:443 --publish 80:80 \
  --name gitlab \
  --restart always \
  --volume /home/gitlab/config:/etc/gitlab \
  --volume /home/gitlab/logs:/var/log/gitlab \
  --volume /home/gitlab/data:/var/opt/gitlab \
  gitlab/gitlab-ce:11.2.3-ce.0

访问地址：http://192.168.1.41/

在这里插入图片描述
设置好root密码后，进入界面
在这里插入图片描述

3.3 安装Harbor

根据规划192.168.1.40主机安装Harbor

3.3.1 安装Docker Compose

Harbor需要使用docker-compose启动，这里先安装。

curl -L "https://github.com/docker/compose/releases/download/1.25.5/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
chmod +x /usr/local/bin/docker-compose
ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose
# 版本
[root@harbor ~]# docker-compose -v
docker-compose version 1.24.1, build 4667896b

3.3.2 下载Harbor

离线安装包下载地址：https://github.com/goharbor/harbor/releases

tar -zxvf harbor-offline-installer-v1.10.2.tgz

3.3.3 配置harbor.yml

vim harbor/harbor.yml 
# 修改的内容，并将https部分注释掉
hostname: 192.168.1.40
data_volume: /home/harbor
harbor_admin_password: Harbor12345
database:
	password: root123
jobservice:
	max_job_workers: 10
log:
	level: info
	rotate_count: 50
	rotate_size: 200M
	location: /var/log/harbor

3.3.4 启动Harbor

执行安装目录中的install.sh脚本，安装成功出现以下内容

[Step 5]: starting Harbor ...
Creating network "harbor_harbor" with the default driver
Creating harbor-log ... done
Creating harbor-portal ... done
Creating registryctl   ... done
Creating harbor-db     ... done
Creating redis         ... done
Creating registry      ... done
Creating harbor-core   ... done
Creating nginx             ... done
Creating harbor-jobservice ... done
✔ ----Harbor has been installed and started successfully.----

使用docker-compose关闭，开启服务

# 关闭服务
docker-compose down
# 开启服务
docker-compose up -d

访问地址：http://192.168.1.40/
在这里插入图片描述
登陆设置的账号密码，进入主界面
在这里插入图片描述

3.4 安装Jenkins

根据规划192.168.1.40主机安装Jenkins
下载网址：https://www.jenkins.io/download/
下载长期支持的通用war包。Jenkins需要Java和tomcat。
在这里插入图片描述

3.4.1 安装Java环境

下载地址
https://www.oracle.com/java/technologies/javase-jdk8-downloads.html
在这里插入图片描述
上传安装包至服务器的/opt目录，解压、改名

tar -zxvf jdk-8u251-linux-x64.tar.gz
mv jdk1.8.0_251/ jdk-1.8

配置环境变量

vim /root/.bashrc
# 追加下面内容
export JAVA_HOME=/opt/jdk-1.8
export JRE_HOME=$JAVA_HOME/jre
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
# 刷新文件
source /root/.bashrc

3.4.2 安装Tomcat

下载tomcat：https://tomcat.apache.org/download-90.cgi
在这里插入图片描述
上传安装包至服务器的/opt目录，解压、改名

tar -zxvf apache-tomcat-9.0.34.tar.gz
mv apache-tomcat-9.0.34 jenkins

3.4.3 启动Jenkins

# 清空webapps下的内容
rm -rf /opt/jenkins/webapps/*
# 解压jenkins.war 至webapps/ROOT目录下
mv jenkins.war /opt/jenkins/webapps/

修改Jenkins的家目录，默认是/root

vim /opt/jenkins/bin/catalina.sh
# 添加一个环境变量
export JENKINS_HOME=/home/jenkins

如图
在这里插入图片描述
启动Jenkins

/opt/jenkins/bin/startup.sh

访问地址：http://192.168.1.40:8080/
在这里插入图片描述
选择推荐的插件
在这里插入图片描述
安装中
在这里插入图片描述
创建管理员账号
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
主界面
在这里插入图片描述

3.5 安装Kubectl

根据规划192.168.1.40主机安装kubectl

3.5.1 配置kubernetes的yum源

cat >> /etc/yum.repos.d/kubernetes.repo <<EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=0
EOF

3.5.2 yum安装

yum install -y kubectl
3.5.3 kubectl命令补全
echo "source <(kubectl completion bash)" >> ~/.bashrc
source ~/.bashrc

3.6 安装Rancher

根据规划192.168.1.10主机安装rancher

docker run --detach \
  --publish 80:80 --publish 443:443 \
  --volume /home/rancher:/var/lib/rancher \
  --restart always \
  --name rancher \
  rancher/rancher:v2.4.3

访问地址：http://192.168.1.10/
设置密码
在这里插入图片描述
设置访问地址
在这里插入图片描述

3.7 安装kubernetes

根据规划192.168.1.11，192.168.1.12，192.168.1.13这三台主机安装kubernetes集群，这里直接使用rancher集成环境安装集群
在这里插入图片描述
选择自定义
在这里插入图片描述
集群设置
在这里插入图片描述
在这里插入图片描述
根据提示，将生成的命令复制到需要添加的节点主机上
在这里插入图片描述
等待集群加入
在这里插入图片描述
启动完毕
在这里插入图片描述
创建一个项目
在这里插入图片描述
给项目创建命名空间
在这里插入图片描述

3.7.1授权kubectl所在主机连接k8s集群

在这里插入图片描述
复制该内容
在这里插入图片描述
kubectl主机配置，将内容粘贴进config中

mkdir ~/.kube
vim ~/.kube/config

3.7.2 给该项目的namespace创建harbor的私钥

kubectl create secret docker-registry demo-secret \
--namespace=demo-namespace \
--docker-server=http://192.168.1.40 \
--docker-username=admin \
--docker-password=xxxxxxxxxxx \
--docker-email=xxxxxxx@qq.com

查看创建的密钥

kubectl get secret -n demo-namespace
NAME                  TYPE                                  DATA   AGE
default-token-sgbrj   kubernetes.io/service-account-token   3      15m
demo-secret           kubernetes.io/dockerconfigjson        1      33s
刘李404not found
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
k8s部署之kubesphere安装与生产配置使用教程(问题整合,持续更新)
Sunshine_Mr_Sun的博客
06-06 6065
KubeSphere 是在 Kubernetes 之上构建的以应用为中心的多租户容器平台,提供全栈的 IT 自动化运维的能力,简化企业的 DevOps 工作流。KubeSphere 提供了运维友好的向导式操作界面,帮助企业快速构建...本文采用的kk(KubeKey)工具进行kubesphere及k8s安装，笔者已在生产和VM成功部署使用，请放心使用哦~享受优质模板进行阅读~点击。
最新的k8s生产环境部署（k8s1.25+containerd+ubuntu20.04）
u012735308的博客
09-26 5900
最新的k8s生产环境部署，使用k8s1.25、containerd、Ubuntu20.04
Kubernetes架构详解
mry6的博客
06-12 788
Kubernetes的核心组件部署在Master管理节点上，主要作用是作为Kubernetes的"大脑"，控制整个分布式集群的运转，Node节点作为"四肢"，执行Master的操作指令。Scheduler调度程序会监视来自API Server的新请求，并将其分配给运行状态良好的节点，比如：对节点的质量进行排名，并将Pod部署到最适合的节点。在Kubernetes中，Pod是调度的最小元素，没有它容器就不能成为集群的一部分，主节点会把Pod调度到特定工作节点上，并与容器运行时协调以启动容器。
详解介绍下K8s的产生时间、公司、以及最近10年的大事件
weixin_42596011的博客
01-15 937
K8s (Kubernetes) 的产生时间是2014年，由 Google 公司开发。 K8s 是一个开源容器编排系统，可以管理和部署容器化的应用。它的名称来源于容器数量的缩写，"K" 代表第 11 个字符，而 "8" 代表 "s"，意思就是 "Kubernetes" 的第 11 个字符和最后一个字符。 在过去的10年中，K8s 取得了巨大的成功，并成为了容器编排领域的标准。它被广泛应用于云计算、...
生产环境 VS 开发环境，关于Kubernetes的四大认识误区
kwame211的博客
12-10 1007
【编者的话】当容器和Kubernetes的IT管理团队把本地变更部署在生产环境的时候，往往面对很多要学习的东西。 最近我们澄清了一些大家在进行Kubernetes实验的时候所见到的常见的误解。其中最大的一个误解就是：在生产环境中运行Kubernetes和开发测试环境并无两样。 答案：是不一样的。 Avi Network公司的联合创始人兼首席技术官Ranga Rajagopalan认为：“对于Kub...
kubernetes学习笔记 （一）：搭建本地k8s开发环境
weixin_34310785的博客
08-07 3563
k8s是什么 Kubernets是继大数据、云计算和Docker后的一种热门的容器编排技术，是Google在2014年发布的开源项目。同类的技术有Docker官方的Swarm。 k8s与swarm相比较更加成熟、完善，但学习成本也更高。 为什么学习k8s 本人从事游戏行业，服务端开发，使用过Node、Go语言。最早一直用开源框架进行开发，最终都没有找到一个非常满意的开发框架。后来和同事使用Doc...
JFrog的Kubernetes技术架构实践.pdf
10-17
首先，JFrog面临着两大问题：一是如何为JFrog产品提供新的交付方式，二是如何快速搭建并管理全功能的测试环境。这两个问题阻碍了他们对资源的按需使用，限制了团队之间的协作效率，也导致了CI/CD流程的混乱。 通过...
基于JFrog的Kubernetes技术实践.pptx
10-11
JFrog在其内部实践中逐步推进Kubernetes化，目标是为JFrog产品提供新的交付方式，并优化研发和测试环境。他们面临的主要问题包括无法快速搭建全功能测试环境，无法为每个团队或分支提供独立的CI/CD流水线，以及缺乏...
JFrog的Kubernetes容器平台技术实践.pptx
10-11
这篇PPT分享了JFrog内部采用Kubernetes作为容器平台的技术实践和经验教训，旨在探讨如何更好地利用Kubernetes来优化产品交付和研发环境。 首先，JFrog面临的主要问题在于需要为产品提供新的交付方式，以及快速搭建...
JFrog的Kubernetes技术架构实践.pptx
10-17
- 成果：现在，JFrog能够提供全产品线的Helm Charts，支持每周100+产品线、任意版本组合的测试环境部署，以及为每个研发分支提供独立的测试环境。 3. **起步阶段：熟悉Kubernetes** - 从小规模开始，逐步深入了解...
JFrog的Kubernetes容器平台技术实践.pdf
10-11
2. **快速搭建全功能测试环境**：在传统的环境下，无法快速创建满足各种需求的测试环境，包括开发、测试、技术支持、产品、解决方案等多个团队的需求。 3. **独立的CI/CD流水线**：研发团队需要独立的沙箱环境进行自...
Kubernetes的2种部署方式：Minikube开发环境+Kubeadm单节点集群环境
图特摩斯科技-博客
11-26 9515
本人环境：Ubuntu18.04      ---(CSDN格式显示有问题，如遇到第一个字显示不全，先下拉到文章中部，在拉回来就好了)    基于 Minikube 的部署方式（ Kubernetes 的本地实验环境） 基于Web 的环境易于访问，但不是持久性的。如果您想继续在可以回归和改变的工作空间中探索Kubernetes ，Minikube是一个不错的选择，其安装方便快捷。 Mini...
k8s部署的四种方案
weixin_64811434的博客
12-04 4794
k8s部署的四种方案
Kubernetes开发和测试环境常用的三种存储
openeis的专栏
12-10 417
我想Kubernetes开发和测试环境常用的三种存储应该是hostpath、NFS和Glusterfs. hostpath最简单，但是有些功能受限制。 NFS受本身NFS V4.0的BUG的影响，使用不太顺畅。 Glusterfs当然是最佳选择。...
Kubernetes windows开发环境发布应用程序研究
Lxiaodao的专栏
08-22 554
为了方便，在开发环境windows使用minikube来掌握Kubernetes的使用。 本文讲述内容涉及： 需要工具 Docker（本文使用DockerToolbox-18.09.3） VirtualBox kubectl.exe minikube-windows （1）Minikube的安装 （2）把SpringBoot应用程序打包Docker镜像 （3）在K8s中使用打包后...
kubernetes一步一步搭建（一）安装与http访问
热门推荐
程序员的世界
03-04 2万+
  众所周知，kubernetes（简称k8s）是用于管理docker集群的，最近一段时间一直在折腾环境问题，在此写一篇博客，来帮助像我一样的小白，避免走弯路。一、环境集群环境角色IP地址版本号Docker版本系统版本master192.63.63.1/24v1.9.117.12.0-ceCentos7.1node1192.63.63.10/24v1.9.117.12.0-ceCentos7.1n...
kubernetes环境搭建（手动篇）
villare的博客
02-16 3441
主要内容 1.环境准备(2主机) 2.安装流程 3.问题分析 4.总结 1.环境准备（2主机） 系统：CentOS 7.3 x64 网络：局域网（VPC） 主机： master：172.16.0.17 minion-1：172.16.0.7 1.1.修改host配置 修改master和minion-1的host文件，使得各主机可通过主机名访问，方便更新和迁移； echo "1...
浅谈Kubernetes生产架构
kubernetes中文社区
04-24 559
注意 本文，只是笔者针对Kubernetes生产环境运行的一些关于架构设计和实现方案的总结，内容很粗糙，同时也会不断完善。 首先，我们来梳理下Kubernetes生产架构，其设计适用于绝大多数环境。如下图所示。 在该架构中，我们可以将其分为四层，如下： Client层：即Kubernetes集群外部用户、客户端等； 服务访问层：即由Traefik ingress实现服务发现、负载均衡和路由...
kubernetes docker环境搭建
最新发布
07-04
要在 Docker 环境中搭建 Kubernetes 集群，你需要完成以下步骤： 1. 安装 Docker 和 Docker Desktop（如果你不在 Linux 上）：Docker 是运行容器的基础，Docker Desktop 可以让你在本地轻松地管理容器。 2. 安装 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值