软件架构的演进过程
单体架构
特点:所有的功能都在一个项目之内;
优点:架构简单,前期开发成本低。开发周期短,适合小型项目。
缺点:(1)全部功能集中在一个工程之中,对于大型项目不易开发、扩展和维护。
(2)技术栈受限,只能使用一种语言开发。
(3)系统性能扩展只能只能通过扩展集群节点,成本太高。【例如:系统呢某个模块访问压力大,只能扩展项目节点,实质上 只需要扩展模块节点即可,浪费了大量服务器资源。】
现状:现在企业中应用很少,原因是现在的项目规模越来越大,如果所有的功能都写在一个项目之内了,开发成本就会非常高。
垂直架构
特点:就是按照业务切割,将大的项目按照模块切割成小的项目。
优点:技术栈可以拓展,不同系统可以使用不同的语言开发。
缺点:(1)功能集中在一个项目中,不利于开发,扩展,维护
(2)系统扩张只能使用集群的方式
(3)项目之间功能冗余,数据冗余,耦合性强
现状:垂直架构虽然进行了切割,但是粒度很是很粗的,比单体架构强不了多少。
SOA架构
SOA全程为Service-Oriented Architecture,即面向服务的架构。它可以根据需求通过网络对松散耦合的粗粒度应用组件(服务)进行分布式部署、组合和使用。一个服务通常以独立的形式存在于操作系统之中。
站在功能的角度,把业务逻辑抽象成可复用的服务,通过服务的编排实现业务的快速再生。目的:把原先固定的业务功能转变为可通用的业务服务,实现业务逻辑的快速服用。
特点:将重复功能或者组件抽取成服务的形式,对外提供服务,在项目与服务之间使用ESB(企业服务总线)的形式作为通信的桥梁。
优点:(1)重复功能或者是模块抽取为服务,提高开发效率。
(2)可重用性高。
(3)可维护性高。
缺点:(1)各个系统之间业务不同,很难确认功能或者是模块是重复的【设计是很复杂的】
(2)抽取服务的力度大【相对于微服务粒度大】
(3)系统和服务之间的耦合度高【在物流系统中想要调用用户服务,代码是有耦合的】
现状:应用还是比较多的
微服务架构
特点:将系统服务完全独立出来,抽取为一个个的微服务;
抽取的粒度更细,遵循单一原则;
采用轻量级框架传输;
优点:
服务拆分粒度更细,有利于提高开发效率;
可以针对不同的服务制定对应的优化方案;
适用于互联网时代,产品迭代周期更短;
缺点:
粒度太细,导致服务过多,维护成本高;
分布式系统开发的技术成本高,对团队的挑战大;
总结
SOA架构和微服务架构还是有点相似的,都是属于分布式架构。(功能统一抽取成为服务,分别进行部署,其他的系统需要使用的时候,直接通过网络进行调用。也就是说系统和我们的服务是分别进行部署的。)
Apache的dubbo概述
Dubbo的简介
Apache的 Dubbo是一款高性能java RPC框架,其前身是阿里巴巴公司开源的一个高性能、轻量级的开源RPC框架,可以和spring框架无缝集成。
什么是RPC?
RPC全程为remote procedure call ,即远程程序调用。比如两台服务器A和B,A服务器上部署一个应用,B服务器上部署一个应用,A服务器上的应用想要调用B服务器上的应用提供的方法,由于两个应用不在一个内存空间,不能直接调用,所以需要通过网络来表达调用的语义和传达调用的数据。【所以,和HttpClient有什么不同??】
需要注意的是呢,RPC并不是一个具体的技术,而是整个网络远程调用的过程。
RPC是一个泛华的概念,严格来说一切远程调用手段都是属于RPC范畴,各种开发语言都有自己的RPC框架,java中的RPC框架比较多,广泛使用的有RMI,Hessian,Dubbo等。
官网:Apache Dubbo
Dubbo提供了三大核心能力:面向接口的远程方法调用、只能容错和负载均衡,以及服务自动注册和发现。
HttpClient和Dubbo的不同点
HttpClient用来调用服务,它是模拟一个浏览器,发送Http的请求,服务器会返回请求的一个响应结果;Httpclient然后把响应的结果取出来。 HttpClinet相当于一个客户端,使用Http协议调用系统中的方法HTTP 协议可能是现在 Internet 上使用得最多、最重要的协议了,越来越多的 Java 应用程序需要直接通过 HTTP 协议来访问网络资源。HttpClient 是 Apache Jakarta Common 下的子项目,用来提供高效的、最新的、功能丰富的支持 HTTP 协议的客户端编程工具包,并且 它支持 HTTP 协议最新的版本和建议 。随着httpclient的出现,以及JSON等数据格式的大范围使用,基于http的消息接口,逐渐被大家所青睐。一方面是因为,直接使用httpclient可以模拟浏览器的数据操作与封装;另一方面使用基于http的消息,可以借助于http的成熟、可靠、开源的web集群解决方案来提升总体的效率。还有,就是基于http的消息格式,几乎不受任何限制,常规应用的各种消息格式,基本都能直接使用基于http的消息进行传递。目前,大部分PaaS平台,所提供的API接口,实际上就是使用基于Http的JSON消息,来进行数据传递的。
使用dubbo。使用rpc协议进行远程调用,直接使用socket通信。传输效率高,并且可以统计出系统之间的调用关系、调用次数。使用Java语言开发,只能用于Java语言开发的项目间的通信,不具备跨语言,跨平台的特点!dubbo服务治理中间件是在soa分布式面向服务项目中用来作为服务远程调用的中间件,它加上zookeper注册中心实现整个分布式项目服务的发布注册和调用功能,核心思想就是实现解耦和。
dubbo的主要功能: 1.RPC远程调用,类似webservice,底层原理是hessian 2.使用NIO 也就是newIO,底层实现原理为netty
zookeper的作用
1.作为注册中心注册服务对象
2.注册后的对象以URL的形式存储在zookeper中
在分布式项目中使用dubbo+zookeper实现远程调用的大概步骤如下:
1.项目启动(先启动服务层),服务容器如toncat容器、spring容器启动会自动将服务注册到zookeper中,
2.web层消费(订阅)服务,
3.dubbo返回给消费者服务对象
4.消费者消费调用服务对象方法
在dubbo中提供了一个monitor监控中心用于统计服务的调用和调用时间。它是阿里提供的一个已经开发好的项目war包,只需要部署到toncat中运行就能自动监控zookeper的服务调用。
内部系统间或遵守dubbo规范的系统间适用性较强。
Dubbo架构
节点 | 角色名称 |
---|---|
Provider | 暴露服务的服务提供方 |
Consumer | 调用远程服务的服务消费方 |
Registry | 服务注册与发现的注册中心 |
Monitor | 统计服务的调用次数和调用时间的监控中心 |
Container | 服务运行容器(spring) |
虚线:异步调用;
实现:通过网络同步调用;
012(启动,注册,订阅):是在启动时候完成的功能;
345(通知,调用,监控):都是在程序在运行过程中调用的功能;
服务注册中心Zookeeper
通过上边的Dubbo架构图可以看到,Registry(服务注册中心)在其中起着至关重要的作用。Dubbo官方推荐使用Zookeeper作为服务注册中心。
Zookeeper介绍
Zookeeper是Apache Hadoop的子项目,是一个树形的目录服务,支持变更推送(??),适合作为Dubbo的服务注册中心,工业强度较高,可用于生产环境,并推荐使用。
Zookeeper树形目录服务:
root层次:dubbo是根节点;
service层次:service就是服务节点;【包括监控服务】
type层次:服务提供方和消费方;
URL层次:记录服务提供方的ip端口号等;
流程说明:
· 服务提供者provider启动时,向/dubbo/com.foo.BarService/providers目录下写入自己的URL地址;
· 服务消费者consumer启动时,订阅/dubbo/com.foo.BarService/providers目录下提供者URL地址。并向着/dubbo/com.foo.BarService/consumer目录下写入URL地址;
· 监控中心Monitor启动时,订阅/dubbo/com.foo.BarService目录下所有提供者和消费者URL;
安装Zookeeper
(1)安装jdk
(2)安装zookeeper
1、安装到linux
2、解压 tar -zxvf ..... -C /usr/local/zookeeper
3、cd zookeeper/conf
4、cp zoo_simple.conf zoo.conf
5、vim zoo.cof 把路径修改为 dataDir=/usr/local/zookeeper/data
启动Zookeeper
进入到bin目录下,
启动命令: ./zkServer.sh start即可
查看是否启动成功:./zkServer.sh status
停止: ./zkServer.sh stop
使用dubbo调用远程服务
使用Dubbo管理平台
我们在开发时,需要知道Zookeeper注册中心都注册了哪些服务,有哪些消费者来消费这些服务。我们可以通过部署一个管理中心来实现。其实管理中心就是一个web界面,Dubbo已经提供了,我们只需要运行即可。
将dubbo-admin-2.6.0放入到tomcat的webappps下,运行tomcat后,关闭。修改D:\code_relative\apache-tomcat-8.5.78-windows-x64\apache-tomcat-8.5.78\webapps\dubbo-admin-2.6.0\WEB-INF次目录下的dubbo.properties地址。
dubbo.registry.address=zookeeper://192.168.48.128:2181 dubbo.admin.root.password=root dubbo.admin.guest.password=guest
然后运行tomcat,访问
可以看到我们的注册中心的两个应用,分别是服务提供者和服务消费者。【代码在gitee上,所有代码,应用都在gitee上】
6. Dubbo相关配置说明
6.1 包扫描
<dubbo:annotation package="com.pshdhx.service" />
服务提供者和服务消费者都需要配置,表示包扫描,作用是扫描指定包(包括子包)下的类。
如果不使用包扫描,也可以通过如下配置的方式来发布服务:
<bean id="helloService" class="com.pshdhx.service.impl.HelloServiceImpl" /> <dubbo:service interface="com.pshdhx.api.HelloService" ref="helloService" />
作为服务消费者,可以通过如下配置来引用服务:
<!-- 生成远程服务代理,可以和本地bean一样使用helloService --> <dubbo:reference id="helloService" interface="com.pshdhx.api.HelloService" />
上面这种方式发布和引用服务,一个配置项(dubbo:service、dubbo:reference)只能发布或者引用一个服务,如果有多个服务,这种方式就比较繁琐了。推荐使用包扫描方式。
6.2 协议
<dubbo:protocol name="dubbo" port="20880"/>
一般在服务提供者一方配置,可以指定使用的协议名称和端口号。
其中Dubbo支持的协议有:dubbo、rmi、hessian、http、webservice、rest、redis等。
推荐使用的是dubbo协议。
dubbo 协议采用单一长连接和 NIO 异步通讯,适合于小数据量大并发的服务调用,以及服务消费者机器数远大于服务提供者机器数的情况。不适合传送大数据量的服务,比如传文件,传视频等,除非请求量很低。
也可以在同一个工程中配置多个协议,不同服务可以使用不同的协议,例如:
<!-- 多协议配置 --> <dubbo:protocol name="dubbo" port="20880" /> <dubbo:protocol name="rmi" port="1099" /> <!-- 使用dubbo协议暴露服务 --> <dubbo:service interface="com.pshdhx.api.HelloService" ref="helloService" protocol="dubbo" /> <!-- 使用rmi协议暴露服务 --> <dubbo:service interface="com.pshdhx.api.DemoService" ref="demoService" protocol="rmi" />
6.3 启动时检查
<dubbo:consumer check="false"/>
上面这个配置需要配置在服务消费者一方,如果不配置默认check值为true。Dubbo 缺省会在启动时检查依赖的服务是否可用,不可用时会抛出异常,阻止 Spring 初始化完成,以便上线时,能及早发现问题。可以通过将check值改为false来关闭检查。
建议在开发阶段将check值设置为false,在生产环境下改为true。
6.4 负载均衡
负载均衡(Load Balance):其实就是将请求分摊到多个操作单元上进行执行,从而共同完成工作任务。
在集群负载均衡时,Dubbo 提供了多种均衡策略(包括随机、轮询、最少活跃调用数、一致性Hash),缺省为random随机调用。
配置负载均衡策略,既可以在服务提供者一方配置,也可以在服务消费者一方配置,如下:
@Controller @RequestMapping("/demo") public class HelloController { //在服务消费者一方配置负载均衡策略 @Reference(check = false,loadbalance = "random") private HelloService helloService; @RequestMapping("/hello") @ResponseBody public String getName(String name){ //远程调用 String result = helloService.sayHello(name); System.out.println(result); return result; } }
//在服务提供者一方配置负载均衡 @Service(loadbalance = "random") public class HelloServiceImpl implements HelloService { public String sayHello(String name) { return "hello " + name; } }
可以通过启动多个服务提供者来观察Dubbo负载均衡效果。
注意:因为我们是在一台机器上启动多个服务提供者,所以需要修改tomcat的端口号和Dubbo服务的端口号来防止端口冲突。
在实际生产环境中,多个服务提供者是分别部署在不同的机器上,所以不存在端口冲突问题。
7. 解决Dubbo无法发布被事务代理的Service问题
前面我们已经完成了Dubbo的入门案例,通过入门案例我们可以看到通过Dubbo提供的标签配置就可以进行包扫描,扫描到@Service注解的类就可以被发布为服务。
但是我们如果在服务提供者类上加入@Transactional事务控制注解后,服务就发布不成功了。原因是事务控制的底层原理是为服务提供者类创建代理对象,而默认情况下Spring是基于JDK动态代理方式创建代理对象,而此代理对象的完整类名为com.sun.proxy.$Proxy42(最后两位数字不是固定的),导致Dubbo在发布服务前进行包匹配时无法完成匹配,进而没有进行服务的发布。
7.1 问题展示
在入门案例的服务提供者dubbodemo_provider工程基础上进行展示
操作步骤:
(1)在pom.xml文件中增加maven坐标
<dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>5.1.47</version> </dependency> <dependency> <groupId>com.alibaba</groupId> <artifactId>druid</artifactId> <version>1.1.6</version> </dependency> <dependency> <groupId>org.mybatis</groupId> <artifactId>mybatis-spring</artifactId> <version>1.3.2</version> </dependency>
(2)在applicationContext-service.xml配置文件中加入数据源、事务管理器、开启事务注解的相关配置
<?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:p="http://www.springframework.org/schema/p" xmlns:context="http://www.springframework.org/schema/context" xmlns:dubbo="http://code.alibabatech.com/schema/dubbo" xmlns:mvc="http://www.springframework.org/schema/mvc" xmlns:tx="http://www.springframework.org/schema/tx" xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd http://www.springframework.org/schema/mvc http://www.springframework.org/schema/mvc/spring-mvc.xsd http://code.alibabatech.com/schema/dubbo http://code.alibabatech.com/schema/dubbo/dubbo.xsd http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context.xsd http://www.springframework.org/schema/tx http://www.springframework.org/schema/tx/spring-tx.xsd"> <!--每个dubbo应用(服务提供方和服务消费方)都必须指定一个唯一的名称--> <dubbo:application name="dubbodemo_provider"></dubbo:application> <!--指定服务的注册中心--> <dubbo:registry address="zookeeper://192.168.48.128:2181"></dubbo:registry> <!--配置协议和端口--> <dubbo:protocol name="dubbo" port="20881"></dubbo:protocol> <!--指定包扫描,用于发布dubbo服务--> <dubbo:annotation package="com.pshdhx.service.impl"></dubbo:annotation> <!--数据源--> <bean id="dataSource" class="com.alibaba.druid.pool.DruidDataSource" destroy-method="close"> <property name="username" value="root" /> <property name="password" value="pshdhx" /> <property name="driverClassName" value="com.mysql.jdbc.Driver" /> <property name="url" value="jdbc:mysql://localhost:3306/test" /> </bean> <!-- 事务管理器 --> <bean id="transactionManager" class="org.springframework.jdbc.datasource.DataSourceTransactionManager"> <property name="dataSource" ref="dataSource"/> </bean> <!--开启事务控制的注解支持--> <tx:annotation-driven transaction-manager="transactionManager" proxy-target-class="true"/> </beans>
上面连接的数据库可以自行创建
(3)在HelloServiceImpl类上加入@Transactional注解
(4)启动服务提供者和服务消费者,并访问,会报错
服务注册管理界面失去了提供者的服务;
上面的错误为没有可用的服务提供者
可以通过断点调试的方式查看Dubbo执行过程,Dubbo通过AnnotationBean的postProcessAfterInitialization方法进行处理
由此可以看到,由于加了事务,spring默认是jdk动态代理,产生的代理对象与配置的dubbo扫描服务对象对不上bean的name,所以失败。为了解决以上问题,在配置中增加如下代码
提供者的service增加interfaceClass包,找到包名。
@Service(interfaceClass = HelloService.class,protocol = "dubbo") //发布服务必须使用Dubbo提供的Service注解
配置文件中使用cglib代理,不使用jdk代理;
<tx:annotation-driven transaction-manager="transactionManager" proxy-target-class="true"/>
7.2 解决方案
通过上面的断点调试可以看到,在HelloServiceImpl类上加入事务注解后,Spring会为此类基于JDK动态代理技术创建代理对象,创建的代理对象完整类名为com.sun.proxy.$Proxy35,导致Dubbo在进行包匹配时没有成功(因为我们在发布服务时扫描的包为com.pshdhx.service),所以后面真正发布服务的代码没有执行。
解决方式操作步骤:
(1)修改applicationContext-service.xml配置文件,开启事务控制注解支持时指定proxy-target-class属性,值为true。其作用是使用cglib代理方式为Service类创建代理对象
<!--开启事务控制的注解支持--> <tx:annotation-driven transaction-manager="transactionManager" proxy-target-class="true"/>
(2)修改HelloServiceImpl类,在Service注解中加入interfaceClass属性,值为HelloService.class,作用是指定服务的接口类型
@Service(interfaceClass = HelloService.class) @Transactional public class HelloServiceImpl implements HelloService { public String sayHello(String name) { return "hello " + name; } }
此处也是必须要修改的,否则会导致发布的服务接口为SpringProxy,而不是HelloService接口