Kettle
ETL工具
阿啄debugIT
0、精通java,及常用设计模式,熟练编写shell脚本,掌握python、scala、golang的编写;
1、精通Spring Cloud等微服务架构,掌握SpringBoot、batis等后端技术,kafka、redis、es等中间件的整合开发;
2、熟悉掌握mysql、pg等关系数据的原理及调优,及NoSQL数据的存储和查询;
3、熟悉CDH各个组件,及精通离线、实时等计算技术;
4、掌握java多线程高并发编程,及整合shiro、redis、fastdfs、MQ、netty等开发;
5、熟悉K8S集群管理Docker容器,及理解掌握openstack原理和操作。
展开
-
Kettle运行transformation,转换Excel表,数据库表及job的相关视频及资料
前言:本文是Kettle运行transformation,转换Excel表,数据库表及job的相关视频及GIF,相关内容ETL工具Kettle研究-1-ETL认识与Kettle研读 ETL工具Kettle研究-2-Kettle安装部署 ETL工具Kettle研究-3-MySQL数据导入HIVE ETL工具Kettle研究-4-同步和更新备份表核心视频:1、利用kettle运行t...原创 2020-02-04 05:18:29 · 461 阅读 · 0 评论 -
ETL工具Kettle研究-4-同步和更新备份表
前言本案例实践表输入输出与更新操作,一个是直接从数据源表同步数据到目标表,一个是检查原表的插入和更新,同步到目标表,本实践的元数据文件:table-copy-update.ktr1.建立DB连接略,不知道怎么配置的去查阅kettle install那篇文章2.配置表输入核心对象->输入->表输入->拖拽至工作台->配置表输入信息预览数据3...原创 2020-02-04 04:40:06 · 787 阅读 · 0 评论 -
ETL工具Kettle研究-2-Kettle安装部署
前言Kettle安装部署涉及到1.下载安装包,2.解压安装包,3.安装JDK,4.授权,5.验证安装,6.配置远程(Linux)服务,7.配置本地PC机连接1.下载安装包安装包大概有1G左右,我下的是最新8.2版本的,因此做好用脚本在后台自己下,以下为脚本内容:[root@hadoop1]/opt/kettle# cat download.sh#!/bin/bashnohup...原创 2020-02-04 04:24:04 · 671 阅读 · 0 评论 -
ETL工具Kettle研究-1-ETL认识与Kettle研读
前言1. ETL是什么? 2.Kettle是什么?1. ETL是什么ETL简介ETL分别是“Extract”、“ Transform” 、“Load”三个单词的首字母缩写也即数据抽取、转换、装载的过程,但我们日常往往简称其为数据抽取。ETL是BI/DW( Business Intelligence/Data Warehouse , 商务智能/数据仓库)的核心和灵魂,按照统一的规则集...原创 2020-02-04 03:59:49 · 574 阅读 · 0 评论 -
ETL工具Kettle研究-3-MySQL数据导入HIVE
前言.从数据库(mysql)中读取数据写入HDFS并建hive表。在该转换中,需要配置2个DB链接(Mysql和HiveServer2),配置Hadoop集群(HDFS),配置子服务器(远程执行服务器)。本实践的元数据文件:mysql-to-hive.ktr1.数据库配置主对象树->DB连接->新建->一般->Mysql->设置(填写数据库信息)注意...原创 2020-02-04 03:38:04 · 1588 阅读 · 0 评论