虽然文章的标题只是信手拈来,但是把这个小环境跑通,委实是费了一大番周折啊,不管是Docker还是API网关Kong,对自己来说还是稍显陌生,不过这么多年来,对自己培养最大的收获,是解决问题的思路和方法,所以一点点的把问题分解之后,再一项项的攻克。
整个的思路流程大概是这样的:
- 微服务需要连接数据库,需要安装MySQL
- 利用Docker安装MySQL,调试微服务
- 为微服务收敛出一个API网关,调研后选择了Kong
- 利用Docker安装Kong,以及可视化管理台Konga
- 在Docker上部署Spring Boot Application
- 通过Kong实现了API的调用
初识Docker
关于Docker是什么,这里就不再啰嗦了,网络上的文章一搜一大把,简单来讲有点类似于虚拟机。Mac上安装Docker的方法,最简单的就是一条命令: brew cask install docker
。
Docker的思路借鉴了Git,所以当小蓝鲸的图标出现后,赶紧先去把镜像仓库给换成国内某厂的。
然后按图索骥地开始安装MySQL:
- 下载MySQL image:
docker pull mysql
- 创建MySQL container:
docker create --name mysql -p 127.0.0.1:3306:3306 -v ~/docker/mysql/data:/var/lib/mysql -e MYSQL_ROOT_PASSWORD="123456" mysql:latest
这里涉及了端口和Volume的映射
- 启动MySQL container:
docker start mysql
- 查看container的运行情况:
docker ps -a
- 想要在container上执行命令,可以用
docker exec -it mysql /bin/bash
方法- 第2步第3步可以合并用
docker run
的命令来执行
操作完之后其实自己不太明白这些步骤都在干啥,就review了一遍其中的细节,梳理了关键的概念image和container:
- image: 所谓镜像,是一个静态的文件系统,包含了需要运行的程序和相关的运行环境。镜像的好处在于开箱即用,比如我这里下载了MySQL的镜像之后,直接就能运行它,不需要再做额外的操作。
- container: 所谓容器,是用来运行某一镜像的进程,相对于静态的镜像,容器则是动态的,运行过程中产生的数据都在容器中,比如我在我的MySQL数据库中建的表,向表中插入的数据等。
镜像(Image)和容器(Container)的关系,就像是面向对象程序设计中的
类
和实例
一样,镜像是静态的定义,容器是镜像运行时的实体。容器可以被创建、启动、停止、删除、暂停等 。
用数据库客户端连接MySQL,测试连接通过??。
Kong和Konga的Docker化安装
Kong作为一个API网关,最早是向同事请教API设计的时候,同事让我参考它的API设计的,当时并没有深入研究其作为网关的功能。
Kong的安装,基本上是参考了官网给出的步骤:Kong Docker Installation。第一次尝试安装了DB-less mode
,后来又推倒改成了With a Database
模式,所以得先装一个postgres
数据库。
整体步骤如下:
- 创建一个单独的网络:
docker network create kong-net
- 创建并启动postgres数据库
docker run -d --name postgres \
--network=kong-net \
-v ~/docker/postgresql/data:/var/lib/postgresql/data \
-p 5432:5432 \
-e "POSTGRES_USER=kong" \
-e "POSTGRES_DB=kong" \
postgres:latest
- 初始化数据库
docker run --rm \
--network=kong-net \
-e "KONG_DATABASE=postgres" \
-e "KONG_PG_HOST=postgres" \
kong:latest kong migrations bootstrap
- 创建Kong的container并启动
docker run -d --name kong \
--network=kong-net \
-e "KONG_DATABASE=postgres" \
-e "KONG_PG_HOST=postgres" \
-e "KONG_PROXY_ACCESS_LOG=/dev/stdout" \
-e "KONG_ADMIN_ACCESS_LOG=/dev/stdout" \
-e "KONG_PROXY_ERROR_LOG=/dev/stderr" \
-e "KONG_ADMIN_ERROR_LOG=/dev/stderr" \
-e "KONG_ADMIN_LISTEN=0.0.0.0:8001, 0.0.0.0:8444 ssl" \
-p 8000:8000 \
-p 8443:8443 \
-p 8001:8001 \
-p 8444:8444 \
kong:latest
发送请求curl -i http://localhost:8001/status
检查是否安装正确。
这里涉及到一个关于Docker的network的知识,这方面的知识比较宏大,需要单独开一篇另讲,简单说下这里是另外创建了一个bridge模式的网络kong-net
, 可以用命令docker network list
查看所有的网络。
之后决定再安装一个可视化界面,网络上首先找到的基本上是Kong Dashboard,但是这个应用对于新版本的Kong没有提供合适的支持,所以我转而使用另一个可视化应用Konga。
docker run -d --name konga \
--network=kong-net \
-e "DB_ADAPTER=postgres" \
-e "DB_HOST=hst.docker.internal" \
-e "DB_PORT=5432" \
-e "DB_USER=kong" \
-e "DB_DATABASE=kong" \
-e "NODE_ENV=development" \
-p 1337:1337 \
pantsel/konga
注册登录之后,第一次使用导航栏并没有这么多选型,需要先创建一个connection,连接到自己的Kong。
这里有一点要注意,在填写连接信息的时候,
Kong Admin URL
要写成http://kong:8001,不能用ip来替代,这应该是跟docker的网络有关,这里不做深究
Kong的配置
网上关于Kong的配置的文章,大部分都是抄着官网的翻译,但是官网在这块也没有介绍的特别清楚。
有两篇blogs可以参考,我也是借着他们的文章摸索推敲出来的:
- https://www.cnkirito.moe/kong-loadbalance/
- https://blog.csdn.net/mx472756841/article/details/80527462
新版的Kong去掉了api
这个概念,改为service
和route
,除此还有upstream
和target
两个概念需要搞懂。整个Kong的调用链是: route -> service -> upstream -> target。
- route: 路由,需要关联到一个
service
上,匹配到客户端的请求时,该请求会被代理到对应的service
,route
需要注意的配置是hosts、paths、methods和protocols,这些将提交给Kong作为匹配规则 - service: 服务,这个服务是Kong里面的概念,既可以是某个具体的网址,也可以是上游服务
upstream
,service
需要注意的配置主要是host,网上一般用url字段提交,Kong会解析出protocol、host和port属性 - upstream: 上游服务,是我自己的微服务的api,就配置了一个name作为
service
里面的host - target: 用于负载均衡,一个
upsteam
可以有多个target
我这边配了一个get user的操作做试验:
- route: paths=’/users’, methods=GET,protocols=http
- service: protocol=http, host=user, path=//api/v1/users
- upstream: 就配置一个name=user
- target: microservice:8080,因为我的微服务也装在docker上,同样是出于docker网络的问题,不能直接使用ip,而是用container的名字替代
配置完这套之后,实际上可以用请求来做一次测试:curl -i -X GET "http://localhost:8000/users/5"
,8000端口是Kong用来监听请求的,可以看到我的微服务定义的返回信息。
IDEA发布微服务到Docker
既然都上了Docker了,何不把自己的应用也部署到Docker上?其实主要的问题是,我安装好Kong之后的调用一直不成功,因此怀疑是不是网络不同的原因(container访问不了宿主机网络?)
IDEA需要先安装一个Docker的插件,搜Docker关键字就能找到,安装完之后配置一下本地的Docker(管理台?),我这边选了Docker for Mac
就好了。
主要的工作还是在Maven打包上,在pom文件中加入插件
<plugin>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-maven-plugin</artifactId>
<executions>
<execution>
<goals>
<goal>repackage</goal>
</goals>
</execution>
</executions>
</plugin>
<plugin>
<groupId>com.spotify</groupId>
<artifactId>dockerfile-maven-plugin</artifactId>
<version>1.4.9</version>
<executions>
<execution>
<id>default</id>
<goals>
<goal>build</goal>
<!--<goal>push</goal> 不需要push-->
</goals>
</execution>
</executions>
<configuration>
<repository>${docker.image.prefix}/${project.artifactId}</repository>
<tag>${project.version}</tag>
<buildArgs>
<JAR_FILE>target/${project.build.finalName}.jar</JAR_FILE>
</buildArgs>
</configuration>
</plugin>
spring-boot-maven-plugin
插件不加,部署好之后会报no main manifest attribute, in /app.jar
的错误
在应用的根目录编写文件Dockerfile
FROM java:8
VOLUME /tmp
ARG JAR_FILE
ADD ${JAR_FILE} app.jar
RUN bash -c 'touch /app.jar'
EXPOSE 8080
ENTRYPOINT ["java","-jar","/app.jar"]
执行相关的Maven操作: mvn clean -> mvn package(skip test) -> mvn deploy
deploy操作需要配置一下Maven仓库,当然我是配置在本地
<distributionManagement>
<repository>
<id>localRepository</id>
<url>file:/Users/copperfield/.m2/repository</url>
</repository>
</distributionManagement>
之后就能通过命令docker image list
看到刚刚构建好的image,根据这个image创建container。
试试看能不能运行?这个时候我的微服务和微服务所连接的数据库都在Docker上。
这里有个注意点: 微服务中连接数据库的配置必须改成MySQL的container名字:
spring.datasource.url = jdbc:mysql://mysql:3306/<database>
启动自己的微服务的container的时候,设置一下link指向MySQL的container,这样微服务就能顺利在Docker中启动了?。
具体一点的操作,可以参考这两篇文章:
- https://codefresh.io/howtos/using-docker-maven-maven-docker/
- https://my.oschina.net/fxtxz2/blog/2874242