kettle+kafka+mysql_Kettle-demo

Kettle-demo

ETL是数据抽取(Extract)、清洗(Cleaning)、转换(Transform)、装载(Load)的过程。用户从数据源抽取出所需的数据，经过数据清洗和转换，最终形成所需的数据仓库，可用于进行数据统计分析，做商业决策等 。本项目使用开源ETL工具kettle实现一些常用的功能进行演示。

查询和连接：包含数据流的查询、连接查询有关的组件。

脚本：包含自定义脚本的使用，脚本可以用代码向数据流添加变量。

输入和输出： 任何流程必备输入输出组件，输入组件用于把文件或表数据产生数据流到流程中，输出组件用于将数据流中的数据写入到表或者文件。

应用和流程： 给流程提供一些高级应用或者控制流程状态的操作。

转换： 提供数据流的转换处理功能。包括计算器、值映射等。

附录：中央技术储备仓库(Central Technique Reserve Repository)

基础篇:职业化，从做好OA系统开始

中级篇：中间件的各种姿势

高级篇：架构之美

Spring boot整合Apache dubbo v2.7.5实现分布式服务治理(SOA架构)

包含组件Spring boot v2.2.2+Dubbo v2.7.5+Nacos v1.1.1

效果图

使用Spring Cloud Alibaba v2.1.0实现微服务架构(MSA架构)

包含组件Nacos+Feign+Gateway+Ribbon+Sentinel+Zipkin

效果图

使用jenkins+centos+git+maven搭建持续集成环境自动化部署分布式服务

使用docker+compose+jenkins+gitlab+spring cloud实现微服务的编排、持续集成和动态扩容

使用FastDFS搭建分布式文件系统(高可用、负载均衡)

搭建高可用nginx集群和Tomcat负载均衡

使用mycat实现Mysql数据库的主从复制、读写分离、分表分库、负载均衡和高可用

特别篇：分布式事务和并发控制

基于可靠消息最终一致性实现分布式事务(activeMQ)

Spring boot dubbo整合seata实现分布式事务

包含组件nacos v1.1.0 + seata v0.7.1 +spring boot dubbo v2.7.5

效果图

Spring cloud alibaba v2.1.0整合seata实现分布式事务

包含组件nacos v1.1.0 + seata v0.7.1 +spring cloud alibaba v2.1.0

效果图

并发控制：数据库锁机制和事务隔离级别的实现

并发控制：使用redis实现分布式锁

并发控制：使用zookeeper实现分布式锁

并发控制：Java多线程编程实例

并发控制：使用netty实现高性能NIO通信

视频教程