ETL工具
文章平均质量分 86
阿啄debugIT
0、精通java,及常用设计模式,熟练编写shell脚本,掌握python、scala、golang的编写;
1、精通Spring Cloud等微服务架构,掌握SpringBoot、batis等后端技术,kafka、redis、es等中间件的整合开发;
2、熟悉掌握mysql、pg等关系数据的原理及调优,及NoSQL数据的存储和查询;
3、熟悉CDH各个组件,及精通离线、实时等计算技术;
4、掌握java多线程高并发编程,及整合shiro、redis、fastdfs、MQ、netty等开发;
5、熟悉K8S集群管理Docker容器,及理解掌握openstack原理和操作。
展开
-
在电商行业,采用flink进行热门实时流量统计,流量PV和UV分析、市场营销分析、恶意登录监控、订单支付实时监控等场景的解决方案
热门实时商品统计•基本需求-统计近1小时内的热门商品,每5分钟更新一次-热门度用浏览次数(〃pv〃)来衡量 》•解决思路一在所有用户行为数据中,过滤出浏览("pv")行为进行统计-构建滑动窗口,窗口长度为1小时,滑动距离为5分钟...原创 2021-06-20 17:12:36 · 963 阅读 · 1 评论 -
ETL工具Kettle研究-4-同步和更新备份表
前言本案例实践表输入输出与更新操作,一个是直接从数据源表同步数据到目标表,一个是检查原表的插入和更新,同步到目标表,本实践的元数据文件:table-copy-update.ktr1.建立DB连接略,不知道怎么配置的去查阅kettle install那篇文章2.配置表输入核心对象->输入->表输入->拖拽至工作台->配置表输入信息预览数据3...原创 2020-02-04 04:40:06 · 763 阅读 · 0 评论 -
ETL工具Kettle研究-2-Kettle安装部署
前言Kettle安装部署涉及到1.下载安装包,2.解压安装包,3.安装JDK,4.授权,5.验证安装,6.配置远程(Linux)服务,7.配置本地PC机连接1.下载安装包安装包大概有1G左右,我下的是最新8.2版本的,因此做好用脚本在后台自己下,以下为脚本内容:[root@hadoop1]/opt/kettle# cat download.sh#!/bin/bashnohup...原创 2020-02-04 04:24:04 · 646 阅读 · 0 评论 -
ETL工具Kettle研究-1-ETL认识与Kettle研读
前言1. ETL是什么? 2.Kettle是什么?1. ETL是什么ETL简介ETL分别是“Extract”、“ Transform” 、“Load”三个单词的首字母缩写也即数据抽取、转换、装载的过程,但我们日常往往简称其为数据抽取。ETL是BI/DW( Business Intelligence/Data Warehouse , 商务智能/数据仓库)的核心和灵魂,按照统一的规则集...原创 2020-02-04 03:59:49 · 545 阅读 · 0 评论