在几种不同环境下.NET Core的自动化部署实践

一、背景

    随着ERP的产品线越来越多，业务关联也日益复杂，应用间依赖关系也变得错综复杂，单体架构的弱点日趋明显。19年初，由于平台底层支持了分应用部署模式，将ERP从应用子系统层面进行了切割分离，迈出了从单体架构向微服务架构转型的坚实一步。不久的将来，ERP会进一步将各业务拆分成众多的微服务，而微服务势必需要进行容器化部署和运行管理，这就要求ERP技术底层必须支持跨平台，所以将现有ERP系统从.NET Framework迁移到 .NET Core平台势在必行。

    前面我介绍了ERP的迁移和调度服务的.NET Core改造过程，当所有的代码已经就绪的时候就要开始考虑发布和部署了。本篇将介绍ERP和周边服务在常见环境下的部署模式。

二、Framework版本的发布

    原始的Framwork的发布使用的是编译后拷贝文件的方式进行发布，基本步骤如下：

1. 修改版本号；

2. nuget还原解决方案；

3. 调用MSBuild命令编译；

4. 编译前端脚本；

5. 拷贝文件；

6. 打包成压缩包；

7. 按需推送给客户。

    这其中有一些不合理的地方：

• 修改版本好是使用一个控制台的程序进行修改,可以用脚本替代；

• 使用直接使用拷贝文件方式有多余文件,这样在最后一步拷贝文件时候需要排除更多文件；

• 最后拷贝文件使用的是程序方式进行拷贝,可以用脚本替代。

三、Core版本一般的发布流程

    在一般的Core版本中只用调用dotnet publish 进行发布即可，如果要使用Framework中使用MSBuild命令进行发布的话参数非常复杂，并且没有官方文档的有效支撑。

    由于Core编译时候并不会将所有文件拷贝到bin目录中，如果是nuget中的包在调试时候会动态在全局的nuget包中进行加载，所以Core版本的Erp发布必须采用dotnet publish发布，这样会将所有dll发布到指定位置。

   通过如下代码将静态文件指向原来Framework的站点目录。

//配置文件中配置{    "Paths": {        "HostPath": "../../00根站点",        "WebContentPath": "../../../00根站点"    }} //Startup.ConfigureServices 中代码var webPath = Configuration.GetValue<string>("Paths:WebContentPath");if (!string.IsNullOrEmpty(webPath))    HostingEnvironment.WebRootPath = Path.Combine(HostingEnvironment.WebRootPath, Configuration.GetValue<string>("Paths:WebContentPath"));

    Core中配置文件有appsettings.json和appsettings.Development.json，其中appsettings.json是生产环境使用，默认将wwwroot作为目录，而和appsettings.Development.json中将根站点的目录加载问web资源目录这样作为调试时候加载。

    通过上述方式解决静态资源文件复用和调试模式，生产模式的加载，最后发布时候只要将原来Framework通过拷贝方式复制到发布目录的wwwroot目录即可。

四、ERP的发布

    因为Core版本的ERP要支持多种部署模式，包括Windows IIS部署，Linux部署和docker部署， 在ERP的Core版本的发布中做了如下改造：

• 不依赖于其他程序全部使用脚本进行发布,编写了修改版本和拷贝文件的脚本；

• 将脚本进行分层,分为发布，docker镜像打包,docker镜像推送；

• 其中还修复了一些Linux和Docker环境文件大小写的转换。

    除了ERP，在调度服务进行发布的时候不光要发布Host程序，还要将任务发布到Host目录中才能算提供完成的调度服务功能，而由上一篇调度服务的架构可知，Host和任务是没有直接的引用关系的，所以发布任务的脚本还要同时支持调试模式下发布到bin目录和发布到最终发布目录，这里给出调度服务的主要脚本

//发布任务的脚本@echo off if "%1"=="" (      set root=%cd%) else (       set root=%1) if "%2"=="" (    set publish_path=%root%\NetCore\MySoft.Scheduler.Host\bin\Debug\netcoreapp2.2\Task) else (    set publish_path=%2\Task) echo %root%echo %publish_path% echo 发布数据同步任务dotnet publish %root%\Tasks\DataSync\Mysoft.Data.Synchronization.Core\Mysoft.Data.Synchronization.Core.csproj -o "%publish_path%\DataSync"  -f netstandard2.0if errorlevel 1 goto fail // 这里省略其他任务的脚本 if errorlevel 1 goto fail //发布调度服务的脚本@echo off if "%1"=="" (      set root=%cd%) else (       set root=%1) if "%2"=="" (    set publish_path=%root%\ci\publish) else (    set publish_path=%1\Task)echo 清理发布目录rd %publish_path% /S /Q echo 发布主程序，这里采用自寄宿的方式部署dotnet publish %root%\NetCore\MySoft.Scheduler.Host\MySoft.Scheduler.Host.csproj -o "%publish_path%"  --self-contained false -r win7-x64 if errorlevel 1 goto fail echo 发布任务call %root%\ci\publishtask.cmd %root% %publish_path% exit /b 0:failexit /b 1

五、Window部署

    在整个ERP的改造过程中，包括ERP，调度服务，文档服务，配置中心的改造，以为文档服务改造和ERP类似，配置中心改造和调度服务类似，所以并没有重复的介绍，这样在Window部署过程就分为两类，一类是IIS部署，一类是Windows服务的部署。

    这里看到上述调度服务作为windows发布的时候采用的是独立部署模式，独立部署模式可以脱离于.NET Core的运行时进行部署。

5.1、Windows IIS部署

    .NET Core应用要进行WindowsIIS部署，需要安装运行时和捆绑的安装包。基本安装步骤如下：

1. .NET Core运行时安装；

2. 当前 .NET Core 托管捆绑包安装程序，用于iis部署；

3. 在iis添加网站，注意应用程序池的.NET CLR要改为无托管代码；

4. 按照一般网站挂载步骤加载目录和绑定端口,发布文件在对应git的ci\publish中；

5. 按照上述部署以后启动网站浏览即可。

注意事项：

1. 启动失败：

   1. 检查应用程序池中.NET CLR的配置；

   2. 检查web.config配置,可以打开日志输出(tdoutLogEnabled=”true”)；

   3. 检查应用启动日志。

2. 其他异常：参考老版本的文本日志和数据库日志记录来处理；

5.2、Windows 服务部署

  windows服务配合简单的脚本即可实现服务的安装，简要脚本如下：

//install.bat@echo off set currentPath=%~dp0sc create SchedulerService binpath= "%currentPath%/MySoft.Scheduler.Host.exe --server.urls=http://*:50751" sc start SchedulerService sc query SchedulerService //uninstall.bat@echo off sc stop SchedulerService sc delete SchedulerService

注意事项：

1. 启动失败：打开windows日志查看器查看错误消息后根据文档之前的描述做修正；

2. 访问失败：请检查启动端口是否正常，打开服务管理器有查看属性检查启动参数；

3. 其他异常：请打开应用目录中查看log目录下面日志判断问题；

4. 命令都要基于仓库的根目录运行；

5. 如果以上方式无法确定运行，可以用命令行加入 console参数进行控制台启动来排查问题。

六、Docker单应用部署

    改造Core的最终目的就是利用容器部署的便利性，至于Docker的好处网上的说明就太多了，这里就不做介绍，给出使用即可。首先我们看看Dockerfile，比较简单：​​​​​​​

//DockerFile# 加载依赖的镜像FROM mcr.microsoft.com/dotnet/core/aspnet:2.2 # 设置工作目录WORKDIR /app # 添加文件COPY  ./ /app # 添加环境变量ENV PersonalDogDirectory dogENV ConfigCenter_Uri ""ENV ASPNETCORE_URLS http://*:80 # 导出端口EXPOSE 80 # 启动命令ENTRYPOINT  ["dotnet", "Mysoft.Map6.Web.Core.dll" ] //Docker编译@echo offset root=%cd% echo 项目发布call %root%\ci\publish.cmd %%1 echo dock buildpushd %root%\ci\publishdocker build -f netcore.dockerfile -t erp .popd//Docker发布 脚本@echo offset root=%cd% if "%1"=="" (      set version=1.0.1) else (       set version=%1) ::build本地境地镜像call %root%\ci\dockerbuild.cmd %2 ::修改标签 (注意携带ip端口和版本号)docker tag erp 10.5.10.47:8073/mysoft/erp:%version%docker tag erp 10.5.10.47:8073/mysoft/erp:latest ::push本地镜像到仓库docker push 10.5.10.47:8073/mysoft/erp:%version%docker push 10.5.10.47:8073/mysoft/erp:latest

    这里我们使用Nexus作为docker镜像的管理，这里再第一篇文章中也介绍了作为nuget的管理，Nexus的功能比较多，几乎所有常见的包都可以管理，强烈推荐一波。

    至于后面的使用只需要简单的docker启动命令即可，命令如下：​​​​​​​

//启动erpdocker run -it --rm -p "50751:50751" --name erp 10.5.10.47:8073/mysoft/erp:1.0.1 //启动调度服务docker run -it --rm -p "50751:80" --name scheduler 10.5.10.47:8073/mysoft/scheduler:1.0.1

七、DockerCompose整体打包部署

    既然我们使用了Docker进行了单个应用的发布部署，那么当然会尝试一下组合的方式进行部署，由于本地我们只尝试了基于dockercomposte的模式进行部署具体的实施方式如下：

1. 首先基于空的演示库进行mssql的docker制作(MSSQL也支持Linux了，赞一个)；

2. 基于配置文件进行配置中心的打包；

3. 编写DockerCompose文件。

MSSQL镜像制作步骤如下：

1. 拉取启动docker镜像 密码自己设置 docker run -it —rm -e ‘ACCEPT_EULA=Y’ -e ‘SA_PASSWORD=123qwe!@#’ -p 1433:1433 —name sqlserver mcr.microsoft.com/mssql/server:2017-latest；

2. 拷贝数据库备份文件到docker目录 docker cp jenkins3_slsys8021.bak sqlserver:/var/opt/mssql/data；

3. 用数据库管理工具进行数据库还原选择文件进行还原；

4. 新建只读账户记住用户名密码默认(dbreader/123qwe!@#),并配置对erp和erp_log的只读权限；

5. 进行配置中心配置，按照之前的用户名密码配置 ,打开erp即可链接测试。

    测试连接成功以后执行如下命令：​​​​​​​

//将镜像打包docker commit -m "change somth"  sqlserver mssql//镜像推送 注意对应版本号 %version% 表示版本号docker tag mssql 10.5.10.47:8073/mysoft/mssql:%version%docker push 10.5.10.47:8073/mysoft/mssql:%version%

    配置中心文件制作之需要规划好Docker部署的端口和地址之后拷贝配置文件即可，这里不做细节的描述。最后给出DockerCompose文件。

version: '3'services:  mymssql:    image: 10.5.10.47:8073/mysoft/mssql:1.0.1    container_name: mymssql    environment:      ACCEPT_EULA: "Y"      MSSQL_SA_PASSWORD: "szpz3?66jxk!"    ports:      - "1433:1433"    networks:      - common-tier  myconfigcenter:    build:      context: .      dockerfile: myconfigcenter.dockerfile      args:        image_version: 1.0.1    container_name: myconfigcenter    ports:      - "50761:80"    networks:      - common-tier    depends_on:      - mymssql  myscheduler:    image: 10.5.10.47:8073/mysoft/scheduler:1.0.1    container_name: myscheduler    environment:      ConfigCenter__Url: "http://myconfigcenter"    ports:      - "50751:80"    networks:      - common-tier    depends_on:      - mymssql      - myconfigcenter  mydocument:    image: 10.5.10.47:8073/mysoft/doc:1.0.1    container_name: mydocument    environment:      ConfigCenter__Url: "http://myconfigcenter"    ports:      - "50771:80"    networks:      - common-tier     depends_on:      - mymssql      - myconfigcenter  myerp:    image: 10.5.10.47:8073/mysoft/xmk:1.0.1    container_name: myerp    environment:      ConfigCenter__Url: "http://myconfigcenter"    ports:      - "50741:80"    networks:      - common-tier    depends_on:      - mymssql      - myconfigcenter      - myscheduler      - mydocumentnetworks:  common-tier:    driver: bridge

因为命令比较简单，这里就不做过多的介绍。

八、阿里云部署

    ERP有不少客户采用阿里云进行部署，在Core的改造完之后配合项目主数据，面向客户做了阿里云的部署，这里做一个简单的介绍：

逻辑部署图：

物理部署图：

说明：

1. 所有的应用和中间件必须在同一个区域，例如杭州区域；

2. API网关，分布式集群，存储在同一个区域的不同专有网络中；

3. 应用和中间件互相通信使用内网地址，应用和中间件对外提供服务使用外网地址；

4. 应用使用内网负载均衡提供内网调用，使用外网负载均衡提供外网调用；

5. Redis采用1主3从的读写分离集群，也可采用1主2副的高可用集群；

6. k8s至少3个Master，多个Worker的配置，Worker的配置根据应用的内存来选择(ERP一个Pod大概2GB，其他应用大概1GB)，具体需要做性能测试然后做容量规划(EDAS可以很方便的扩容)。

注意事项：

1. .NET Core的Swagger组件生成的json文件不支持直接导入API网关，需要手动进行配置；

2. 注意规划k8S的内存，尽量大一点；

3. 调度服务只能部署一个Pod，因为是有状态(无状态改造计划中)；

4. 目前配置中心也只能部署一个Pod，因为使用的文件存储，Pod是有状态。

九、总结

    在进行阿里云部署的时候反向还得出了后续ERP要更好的贴合云环境容器部署的一些需要改造的部分ERP需要改造的部分：

1. 调度服务和配置中心都需要改造,数据持久化到数据库,不能使用本地文件存储的方式，改造后配置中心可以集群；

2. 配置中心需要分成外网和内网两个地址进行配置，不然从ERP无法跳转到配置中心对应地址(或者全部用外网)；

3. 文档服务需要加入对阿里云OSS的支持；

4. ERP未来可以支持的功能；

5. 未来要对ERP使用内存进行规范和缩减，合理利用分布式缓存，目前有点太大了。