- 博客(5)
- 收藏
- 关注
原创 ETL基于dataX+dataX-web实现可视化数据同步
文章目录前言一、安装Python2.x二、安装Hadoop3.0.0三、安装DataX四、DataX-Web部署启动五、生产打包部署六、集群部署总结推荐前言基于阿里开源项目 dataX 和 datax-web 实现可视化数据同步。基础软件安装MySQL (5.5+) 必选,对应客户端可以选装, Linux服务上若安装mysql的客户端可以通过部署脚本快速初始化数据库JDK (1.8.0_xxx) 必选Maven (3.6.1+) 必选DataX 必选Hadoop 必选Python (
2021-01-22 12:29:44 4373 7
原创 后端程序员必备:书写高质量SQL的30条建议
前言本文将结合实例 Demo,阐述30条有关于优化 SQL 的建议。多数是实际开发中总结出来的,希望对大家有帮助。查询 SQL 尽量不要使用 select *,而是 select 具体字段反例:select * from employee;正例:select id,name from employee;理由:只取需要的字段,节省资源、减少网络开销;select * 进行查询时,很可能就不会使用到覆盖索引了,就会造成回表查询。如果知道查询结果只有一条,或者只要最大/最小一条记录,建议
2020-10-27 17:22:55 159
转载 分布式事务的四种解决方案
分布式事务的四种解决方案简述分布式事务指事务的操作位于不同的节点上,需要保证事务的 AICD 特性。例如在下单场景下,库存和订单如果不在同一个节点上,就涉及分布式事务。解决方案在分布式系统中,要实现分布式事务,无外乎那几种解决方案。一、两阶段提交(2PC)两阶段提交(Two-phase Commit,2PC),通过引入协调者(Coordinator)来协调参与者的行为,并最终决定这些参与者是否要真正执行事务。运行过程1.1 准备阶段协调者询问参与者事务是否执行成功,参与者发回事务执行结
2020-10-13 15:47:31 111
原创 Spring Cloud相关笔记以及面试题
Spring Cloud相关笔记以及面试题1. 什么是 spring cloud?spring cloud 是一系列框架的有序集合。它利用 spring boot 的开发便利性巧妙地简化了分布式系统基础设施的开发,如服务发现注册、配置中心、消息总线、负载均衡、断路器、数据监控等,都可以用 spring boot 的开发风格做到一键启动和部署。2. spring cloud 断路器的作用是什么?当某个服务发生故障的时候,通过断路器的故障监控,向调用方返回一个错误响应,而不是长时间的等待,保证整个程序可
2020-10-13 15:03:39 176
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人