1、dataX安装及基本使用
简介:多种数据库数据互导 同步工具
框架设计:reader writer framework
工作原理:将job 单个作业划分为若干个task schedule 将task组成组并发执行
前置要求:JDK python
使用示例:编写json脚本、执行脚本D:\JobSoftware\DataX\datax\bin>python datax.py D:\JobSoftware\DataX\datax\job\jobtest.json
2.Spring Cloud 和dubbo的区别?
底层协议:springCloud基于http协议 rest 风格的api dubbo基于TCP协议 决定了dubbo的型嫩相对会比较号
注册中心:springCloud 使用的是eureka dubbo推荐使用zookeeper
模型定义:springCloud将一个应用定义为一个服务 dubbo将一个接口定义为一个服务
springCloud是一个生态 二dubbo是springCloud生态中关于服务调用的一种解决方案
3.什么是Hystrix?简述实现机制
分布式容错框架:阻止故障的连锁反应,实现熔断 快速失败 实现优雅降级 提供实时的监控和告警
资源隔离:线程隔离:hystrix会给每一个command分配一个单独的线程池,这样在进行单个服务调用的时候 就可以在独立的线程池里面进行 而不会对其他线程池造成影响
信号量隔离:客户端向依赖服务发起请求时,首先要获取一个信号量才能真正发起调用 由于信号量的数量优先 当并发请求量超过信号量个数时,后续的请求都会直接拒绝 进入fallback流程
信号量隔离主要是通过控制并发请求量 防止请求线程大面积阻塞 从而达到限流和防止雪崩的目的
熔断和降级 调用服务失败后快速失败
熔断 是为了防止异常不扩散 保证系统的稳定性
降级 编写号调用失败的补救逻辑 然后对服务直接停止运行 这样这些接口就无法正常调用 但是油3不至于直接买报错 只是服务水平下降
用法:
pom:
<dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-starter-hystrix</artifactId> </dependency>
HystrixCommand 注解修饰方法
@HystrixCommand(commandKey ="updateAgencyNameByAgencyNo", groupKey="null", fallbackMethod = "updateAgencyNameByAgencyNoFailure")
4.springCloud核心组件及其作用
Eureka:
服务注册与发现
注册:每个服务都向Eureka等级自己提供服务的元数据,包括服务的ip地址 端口号 版本号 通信协议等
eureka将各个服务维护在了一个服务请安中,同时哦对服务维持心跳 剔除不可用的服务 eureka集群各节点相互注册每个实例中都有一样的服务清单
发现:eureka 注册的服务之间调用不需要指定服务地址 而是通过服务名向注册中心想咨询 并获取所有服务实例清单 缓存到本地 然后实现服务的请求访问
Ribbon:
服务间发起请求的时候,基于ribbon做负载均衡,从一个服务的多台机器中选择一台,ribbon也是通过发起http请求 来进行调用 只不过是通过调用服务名的地址来实现的。虽然说ribbon不用区具体请求服务实例的ip地址域名,但是每调用一个接口都还要手动发起http请求
用法:
@Bean
@LoadBalanced//Ribbon负载均衡
public RestTemplate restTemplate(){
return new RestTemplate();
}
public class HelloController {
@Autowired
private RestTemplate restTemplate;
@RequestMapping("/hello/{name}")
public String hello(@PathVariable String name){
String url ="http://localhost:7900/hello/"+name;
url = "http://provider-user/hello/"+name;
return restTemplate.getForObject(url,String.class);
}
}
Feign:基于Feign的动态代理机制,根据注册和选择的机器,拼接请求URL地址 发起请求 简化服务间的调用在ribbon的基础上进行了进一步的封装
用法示例:
//调用服务提供者
@FeignClient("provider-user")(相当于远程调用服务提供这provider-user提供的hello服务)
public interface HelloFeign {
@RequestMapping("/hello{name}")
public String hello(@PathVariable("name") String name);
}
@RestController//不做业务 去调用服务的提供者
public class HelloController {
@Autowired
private HelloFeign helloFeign;
@RequestMapping("/hello/{name}")
public String hello(@PathVariable String name){
return helloFeign.hello(name);
}
}
Hystrix:
发起请求是通过hystrix的线程池来走的 不同的服务走不同的线程池 实现了不同服务调用的隔离,通过统计接口超时次数返回默认值 实现服务熔断和降级
zuul:
如果前端、移动端要调用后端系统 统一由zuul网关进入 由zuul网关转发请求给对应的服务 通过与Eureka进行整合 将自身注册为Eureka下的应用 从Eureka下获取所有服务的示例 来进行服务的路由 zuul还提供了一套过滤器机制 开发这可以自己指定哪些规则的请求 需要执行校验逻辑 只有通过校验逻辑的请求才会被路由到具体的服务示例上
用法:
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-zuul</artifactId>
</dependency>
@SpringBootApplication
@EnableZuulProxy
public class RunAppZuul {
public static void main(String[] args) {
SpringApplication.run(RunAppZuul.class,args);
}
}
server:
port: 8050
spring:
application:
name: consumer-zuul
eureka:
client:
service-url:
defaultZone: http://user:password123@localhost:8761/eureka
logging:
level:
root: INFO
zuul:
routes:
app-a:
path:/user/**
serviceId:consumer-hystrix
public class HelloFallback implements ZuulFallbackProvider { .... }
5.dubbo的整体架构设计及分层
五个角色:
注册中心 registry:服务注册与发现
服务提供者:provider :暴露服务
服务消费者:consumer:调用远程服务
监控中心 monitor :统计服务的调用次数和调用时间
容器container 服务运行容器
调用流程:
container容器负责启动、加载 运行provider
provider启动时候 向注册中心注册自己提供的服务
consuer 在启动时候 向注册人中心订阅自己所需的服务
registry返回服务提供者列表给consumer 如果由变更 registry将基于长链接推送变更数据给consumer
consumer调用provider 服务 基于负载均衡算法(轮询法、加权轮询法等)进行调用
consuner调用provider 的统计 基于短链接定时每分钟一次统计到monitor
注册中心与服务提供者的长连接是基于心跳机制
与消费者的长链接主要是发送服务端的服务列表