spring cloud微服务_zuihou-admin-cloud微服务脚手架

简介:

基于SpringCloud(Greenwich.RELEASE) + SpringBoot(2.1.2.RELEASE) 的微服务 脚手架, 具备用户管理、资源权限管理、网关统一鉴权、Xss防跨站攻击、自动代码生成、多存储系统、分布式事务、分布式定时任务等多个模块,支持多业务系统并行开发, 支持多服务并行开发,可以作为后端服务的开发脚手架。代码简洁,架构清晰,非常适合学习使用。 核心技术采用Eureka、Fegin、Ribbon、Zuul、Hystrix、JWT Token、Mybatis、SpringBoot、Seata、Nacos、Sentinel RibbitMQ、FastDFS等主要框架和中间件。

96d877963df56a551aa19a86c265909d.png

希望能努力打造一套从 基础框架 - 分布式微服务架构 - 持续集成 - 自动化部署 - 系统监测 的解决方案。

该项目为本人在学习过程中通过一些其他的开源项目,资料,文章进行整合的一个提供基础功能的项目。本项目旨在实现基础能力,不设计具体业务。 目前国内的一些资料讲解和使用的SpringCloud版本都比较低,而一些开源项目,则大多不适用于生产, 自己在基于现有的开源项目和资料学习的同时,将一些想法和最佳实践落地为本项目。

部署方面, 可以采用以下4种方式,并会陆续公布jenkins集合以下3种部署方式的脚本和配置文件:

  • IDEA 启动
  • jar部署
  • docker部署
  • k8s部署

功能点介绍:

  • 服务注册与调用:

基于Eureka来实现的服务注册与调用,在Spring Cloud中使用Feign, 我们可以做到使用HTTP请求远程服务时能与调用本地方法一样的编码体验,开发者完全感知不到这是远程方法,更感知不到这是个HTTP请求。

  • 服务鉴权:

通过JWT的方式来加强服务之间调度的权限验证,保证内部服务的安全性。

  • 负载均衡:

将服务保留的rest进行代理和网关控制,除了平常经常使用的node.js、nginx外,Spring Cloud系列的zuul和rebbion,可以帮我们进行正常的网关管控和负载均衡。其中扩展和借鉴国外项目的扩展基于JWT的Zuul限流插件,方面进行限流。

  • 熔断机制:

因为采取了服务的分布,为了避免服务之间的调用“雪崩”,采用了Hystrix的作为熔断器,避免了服务之间的“雪崩”。

  • 监控:

利用Spring Boot Admin 来监控各个独立Service的运行状态;利用turbine来实时查看接口的运行状态和调用频率;通过Zipkin来查看各个服务之间的调用链等。

  • 数据权限

利用基于Mybatis的DataScopeInterceptor拦截器实现了简单的数据权限

  • 优雅的Bean转换

采用Dozer组件来对 DTO、DO、PO等对象的优化转换

  • 前后端统一表单验证

严谨的表单验证通常需要 前端+后端同时验证, 但传统的项目,均只能前后端各做一次检验, 后期规则变更,又得前后端同时修改。 故在hibernate-validator的基础上封装了zuihou-validator-starter起步依赖,提供一个通用接口,可以获取需要校验表单的规则,然后前端使用后端返回的规则, 以后若规则改变,只需要后端修改即可。

  • 防跨站脚本攻击(XSS)
  • 当前用户信息注入器
  • 在线API

由于原生swagger-ui某些功能支持不够友好,故采用了国内开源的swagger-bootstrap-ui,并制作了stater,方便springboot用户使用。

  • 代码生成器

基于Mybatis-plus-generator自定义了一套代码生成器, 通过配置数据库字段的注释,自动生成枚举类、数据字典注解、SaveDTO、UpdateDTO、表单验证规则注解、Swagger注解等。

  • 定时任务调度器:

基于xxl-jobs进行了功能增强。(如:指定时间发送任务、执行器和调度器合并项目、多数据源)

  • 汉化 Eureka 注册中心页面
  • 大文件/断点/分片续传

前端采用webupload.js、后端采用NIO实现了大文件断点分片续传,启动Eureka、Zuul、File服务后,直接打开docs/chunkUploadDemo/demo.html即可进行测试。 经测试,本地限制堆栈最大内存128M启动File服务,5分钟内能成功上传4.6G+的大文件,正式服耗时则会受到用户带宽和服务器带宽的影响,时间比较长。

  • 分布式事务
  • 集成了阿里的分布式事务中间件:seata,以 高效 并且对业务 0侵入 的方式,解决 微服务 场景下面临的分布式事务问题。

项目架构图: 架构图.xml -> https://www.draw.io/

22d35159da761c26e814541a3740cb82.png

技术栈/版本介绍:

  • 所涉及的相关的技术有:
  • JSON序列化:Jackson
  • 消息队列:RibbitMQ
  • 数据库: MySQL 5.7.9 (驱动6.0.6)
  • 定时器:采用xxl-jobs项目进行二次改造
  • 前端:vue
  • 持久层框架: Mybatis-plus
  • 代码生成器:基于Mybatis-plus-generator自定义 [https://github.com/zuihou/zuihou-generator.git]
  • API网关:Zuul
  • 服务注册与发现:Eureka -> Nacos
  • 服务消费:OpenFeign
  • 负载均衡:Ribbon
  • 配置中心:Nacos
  • 服务熔断:Hystrix
  • 项目构建:Maven 3.3
  • 分布式事务: seata
  • 分布式系统的流量防卫兵: Sentinel
  • 文件服务器:FastDFS 5.0.5/阿里云OSS/七牛/本地存储
  • Nginx
  • 部署方面:
  • 服务器:CentOS
  • Jenkins
  • Docker 18.09
  • Kubernetes 1.12

本代码采用 Intellij IDEA(2018.1 EAP) 来编写,但源码与具体的 IDE 无关。

PS: Lombok版本过低会导致枚举类型的参数无法正确获取参数,经过调试发现因为版本多低后,导致EnumDeserializer的 Object obj = p.getCurrentValue();取的值为空。

感谢:

  • swagger-bootstrap-ui
  • mybatis-plus
  • xxl-jobs
  • hutool
  • guava
  • 等等

约定:

  • zuihou-xxx-api 模块中提供feign客户端
  • 区分po、dto,不要把po中的所有字段都返回给前端。 前端需要什么字段,就返回什么字段
  • 类名:首字母大写驼峰规则;方法名:首字母小写驼峰规则;常量:全大写;变量:首字母小写驼峰规则,尽量非缩写
  • 业务模块接口层命名为项目-业务-api,如zuihou-authority-api
  • 业务模块业务层命名为项目-业务-biz,如zuihou-authority-biz
  • 业务模块控制层命名为项目-业务-controller,如zuihou-authority-controller
  • 业务模块容器命名为项目-业务-server,如zuihou-authority-server
  • 数据表命名为:前缀_[模块_]表名, 模块可有可无, 如c_auth_role、 f_file
  • 注释:
表注释: 第一行用简短的文字来描述表的名称,会体现在Swagger中; 换行后对表进行详细介绍字段注释: 第一行用简短的文字来描述字段的名称,会体现在Swagger的字段描述上; 换行后对字段进行详细的描述。 另外,若字段需要使用枚举类型,则字段需要设置成varchar类型, 并在字段注释上使用 #枚举类型{KEY:描述;key2:描述;} 格式来描述枚举类型格式, 代码生成器会自动生成枚举类 eg: #LogType{OPT:操作日志;EX:异常日志;}类注释: 用 /** 开头的文档型注释, 并添加 @author @date 等参数方法注释: 用 /** 开头的文档型注释, 并添加 @param @return 等参数
  • 更多规范,参考[阿里巴巴Java开发手册] https://gitee.com/zuihou111/zuihou-admin-cloud/attach_files

小技巧

  • 多线程编译: clean install -T8
  • mapper类上增加注解@Repository, 防止IDEA提示注入报错。
  • IDEA提示@Autowired注入失败时,可以用@Resource 防止IDEA提示注入报错。
  • IDEA提交代码时,勾选Reformat code、Rearrange code、Optimize imports, 让代码更整洁

如何贡献代码

1,Fork2,修改代码后提交pr3,等待合并4,合并超过5次的朋友,直接拉为项目开发者

环境须知:

  • nginx (文件下载、预览时需要使用)
  • mysql 5.7.9+
  • JDK8
  • IDE插件一个(Eclipse, IDEA都需要安装插件),lombok插件

项目结构:

├─zuihou-admin-cloud│ │ │ ├─zuihou-backend---------------------------后端服务│ | ├─zuihou-api----------------------------常用API│ | ├─zuihou-authority----------------------后端管理服务[正在开发]│ | | ├─zuihou-admin-biz-------------------后端管理业务/持久层│ | | ├─zuihou-admin-controller------------后端管理业务/持久层│ | | ├─zuihou-admin-server----------------后端管理服务│ | ├─zuihou-file---------------------------文件模块服务[基本完善]│ | ├─zuihou-msgs---------------------------消息模块服务[正在开发]│ | ├─zuihou-gateway------------------------统一网关负载中心│ | | |─zuihou-gateway-ratelimit-----------网关限流插件[未开始]│ | | |─zuihou-gateway-server--------------项目网关服务[未开始]│ | ├─zuihou-jobs---------------------------定时任务调度执行器[完成]│ │ │ ├─zuihou-commons--------------------------公共模块 │ | ├─zuihou-common------------------------项目业务模块 (业务模块主要用于存放可能跟业务相关的公共代码)│ | ├─zuihou-core--------------------------项目核心模块 (核心模块存放无业务逻辑的公共代码)│ | ├─zuihou-databases---------------------项目数据源配置模块│ | ├─zuihou-dozer-starter-----------------优雅的bean转换起步依赖│ | ├─zuihou-jwt-starter-------------------JWT起步依赖│ | ├─zuihou-log-starter-------------------操作日志起步依赖│ | ├─zuihou-openfeign-starter-------------OpenFeign常用配置起步依赖│ | ├─zuihou-shiro-starter-----------------shiro起步依赖│ | ├─zuihou-swagger2-starter--------------SwaggerUI文档配置│ | ├─zuihou-user-starter------------------用户信息自动注入起步依赖│ | ├─zuihou-validator-starter-------------增强表单前后端统一验证起步依赖│ | ├─zuihou-xss-starter-------------------防XSS起步依赖│ │ │ ├─zuihou-dependencies----------------------项目顶级pom│ │ │ ├─zuihou-frontend--------------------------项目前端【考虑废弃】│ | ├─zuihou-manage-center------------------管理后台│ ││ ├─zuihou-support---------------------------服务模块│ | ├─zuihou-eureka-------------------------注册中心[已开发]│ | ├─zuihou-monitor------------------------spring-boot-admin监控中心[已开发]│ | ├─zuihou-zipkin-------------------------zipkin分布式链路跟踪[已开发]│ ││ │-...

运行步骤:

  • 1, 依次运行数据库脚本(开发阶段,数据库脚本可能更新不及时,有问题github、gitee上留言, 会第一次时间同步):
  • docs/1_create_schema.sql # 创建数据库
  • docs/sql/zuihou_authority_dev.sql # 导入权限库表结构和数据
  • docs/sql/c_common_area.sql # 导入地区表结构和数据
  • docs/sql/zuihou_file_dev.sql # 导入文件服务表结构和数据
  • docs/sql/zuihou_jobs_dev.sql # 导入定时任务库表结构和数据
  • docs/sql/zuihou_msgs_dev.sql # 导入消息服务表结构和数据
  • docs/sql/zuihou_demo_dev.sql # 导入demo服务表结构和数据
  • 2, 在common.yml(zuihou-backend/zuihou-config/src/main/resources)文件修改配置数据库/redis/rabbitMQ等配置:
  • 2.1 将zuihou-backend/zuihou-config/src/main/resources下的所有配置文件,导入到nacos,具体操作看 third-party/README.md
  • 3.0 mac/linux 在启动项目之前先创建日志文件夹
mkdir -p /data/projectschown -R $USER:$USER # linux chown -R $USER:wheel /data/projects # mac 
  • 3.1 window 在项目启动前,在代码所在的盘创建:D:/data/projects。 如: D:/data/projects
  • 3, 在IDE中启动,编译通过后按如下顺序启动:
  • Nacos
  • ZuulServerApplication
  • AuthorityApplication
  • FileServerApplication (可选)
  • MsgsServerApplication (可选)
  • JobsServerApplication (可选)
  • MonitorApplication (可选)
  • 启动seata (可选,若要测试分布式事务则一定要在nacos启动后,在启动seata-server)(详情参考third-party/README.md)
  • OrderServerApplication (可选)
  • DemoServerApplication (可选)
  • 前端启动,参考 [前端] (https://github.com/zuihou/zuihou-admin-ui?_blank)
  • 4, 命令行启动:
  • 先cd 到各个服务的target目录,依次启动即可:
  • java -jar -Dspring.profiles.active=dev zuihou-eureka.jar
  • java -jar -Dspring.profiles.active=dev zuihou-jobs-server.jar > /dev/null 2>&1 &

端口号介绍 :

服务端口号zuihou-eureka8761zuihou-zipkin8767zuihou-monitor8762,8763--zuihou-gateway-server8760zuihou-authority-server8764zuihou-file-server8765zuihou-msgs-server8766zuihou-jobs-server8767/8768zuihou-demo-server8769zuihou-order-server8779

项目截图:

spring-boot-admin监控界面:

f4a774dec212fb88f7c27a0e422be6c4.png

API 界面:

a1f1453d8bfd340537b1fb3cdb1c6b5b.png

注册中心界面:

5907995ad4ec17b3ddafef1a70b40dcd.png

定时任务调度界面:

0699c5dc24c0dd293a53fe92b744bf57.png

常见问题:

  • 1, 很多依赖死活都下载不下来?
  • 答: 由于spring-boot和spring-cloud等版本比较新,所以目前国内的一些仓库还没有新版本的jar。 需要配置spring的maven仓库。 (配置后还是无法下载,就先注释掉settings.xml中其他的仓库,只保留这个)
 spring-milestonesSpring Milestoneshttps://repo.spring.io/libs-milestonecentral
  • 2, 很多类缺少get/set方法?
  • 答:请用IDEA或Eclipse安装lombok插件
  • 3, zuihou-generator jar缺失?
  • 答: https://github.com/zuihou/zuihou-generator 。去我github下载这个项目,自行编译。
  • 4, 为啥要将调度器和执行器合并在一起?
  • 答: 对于中小型项目,对高可用的需求并不是很大,若把调度器和执行器分开部署,会增加部署成本。
  • 5, 将配置文件导入到nacos后,启动解析文件报错?
  • 答: 将配置文件中的所有注释,以及中文删除改成英文
  • 6, 启动zuihou-jobs-server报找不到表的错, 但数据库中确实有表,只是表名全是小写?
  • 答: 1) SHOW VARIABLES LIKE '%case%'; 查看 lower_case_table_names 是否=2
  • 2) 修改my.cnf(my.ini) 文件增加 :
[mysqld]lower_case_table_names=2

查看磁盘空间占用

df -h

查看当前目录的磁盘占用

du -ah --max-depth=1

私信回复"zuihou-admin-cloud"获取链接地址,喜欢的点个关注,一起学习探讨新技术。

lamp-cloud微服务脚手架的前身是zuihou-admin-cloud,从3.0.0版本开始,改名为lamp-cloud,它是lamp项目的其中一员。 lamp-cloud微服务脚手架是一个基于SpringCloud(Hoxton.SR10) + SpringBoot(2.3.10.RELEASE)的SaaS微服务脚手架,具有统一授权、认证后台管理系统,其中包含具备用户管理、资源权限管理、网关API、分布式事务、大文件断点分片续传等多个模块,支持多业务系统并行开发,可以作为后端服务的开发脚手架。代码简洁,架构清晰,适合学习和直接项目中使用。核心技术采用Nacos、Fegin、Ribbon、Zuul、Hystrix、JWT Token、Mybatis、SpringBoot、Redis、RibbitMQ等主要框架和中间件。 lamp-cloud微服务脚手架功能: 1、服务注册&发现与调用: 基于Nacos来实现的服务注册与发现,使用使用Feign来实现服务互调, 可以做到使用HTTP请求远程调用时能与调用本地方法一样的编码体验,开发者完全感知不到这是远程方法,更感知不到这是个HTTP请求。 2、服务鉴权: 通过JWT的方式来加强服务之间调度的权限验证,保证内部服务的安全性。 3、负载均衡: 将服务保留的rest进行代理和网关控制,除了平常经常使用的node.js、nginx外,Spring Cloud系列的zuul和ribbon,可以帮我们进行正常的网关管控和负载均衡。其中扩展和借鉴国外项目的扩展基于JWT的Zuul限流插件,方面进行限流。 4、熔断机制: 因为采取了服务的分布,为了避免服务之间的调用“雪崩”,采用了Hystrix的作为熔断器,避免了服务之间的“雪崩”。 5、监控: 利用Spring Boot Admin 来监控各个独立Service的运行状态;利用turbine来实时查看接口的运行状态和调用频率;通过Zipkin来查看各个服务之间的调用链等。 6、链路调用监控: 利用Zipkin实现微服务的全链路性能监控, 从整体维度到局部维度展示各项指标,将跨应用的所有调用链性能信息集中展现,可方便度量整体和局部性能,并且方便找到故障产生的源头,生产上可极大缩短故障排除时间。有了它,我们能做到: 请求链路追踪,故障快速定位:可以通过调用链结合业务日志快速定位错误信息。 可视化:各个阶段耗时,进行性能分析。 依赖优化:各个调用环节的可用性、梳理服务依赖关系以及优化。 数据分析,优化链路:可以得到用户的行为路径,汇总分析应用在很多业务场景。 7、数据权限 利用基于Mybatis的DataScopeInterceptor拦截器实现了简单的数据权限 8、SaaS(多租户)的无感解决方案 使用Mybatis拦截器实现对所有SQL的拦截,修改默认的Schema,从而实现多租户数据隔离的目的。 并且支持可插拔。 9、二级缓存 采用J2Cache操作缓存,第一级缓存使用内存(Caffeine),第二级缓存使用 Redis。 由于大量的缓存读取会导致 L2 的网络成为整个系统的瓶颈,因此 L1 的目标是降低对 L2 的读取次数。 该缓存框架主要用于集群环境中。单机也可使用,用于避免应用重启导致的缓存冷启动后对后端业务的冲击。 10、优雅的Bean转换 采用Dozer组件来对 DTO、DO、PO等对象的优化转换 11、前后端统一表单验证 严谨的表单验证通常需要 前端+后端同时验证, 但传统的项目,均只能前后端各做一次检验, 后期规则变更,又得前后端同时修改。 故在hibernate-validator的基础上封装了zuihou-validator-starter起步依赖,提供一个通用接口,可以获取需要校验表单的规则,然后前端使用后端返回的规则, 以后若规则改变,只需要后端修改即可。 12、防跨站脚本攻击(XSS) 通过过滤器对所有请求中的 表单参数 进行过滤 通过Json反序列化器实现对所有 application/json 类型的参数 进行过滤 13、当前登录用户信息注入器 通过注解实现用户身份注入 14、在线API 由于原生swagger-ui某些功能支持不够友好,故采用了国内开源的swagger-bootstrap-ui,并制作了stater,方便springboot用户使用。 15、代码生成器 基于Mybatis-plus-generator自定义了一套代码生成器, 通过配置数据库字段的注释,自动生成枚举类、数据字典注解、SaveDTO、UpdateDTO、表单验证规则注解、Swagger注解等。 16、定时任务调度器: 基于xxl-jobs进行了功能增强。(如:指定时间发送任务、执行器和调度器合并项目、多数据源) 17、大文
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值