Presto Druid kettle
文章平均质量分 67
Presto Druid
Knight_AL
这个作者很懒,什么都没留下…
展开
-
Kettle Linux部署
目录一.Linux安装Kettle二.Pan——转换执行引擎三.Kitchen——作业执行引擎一.Linux安装Kettle1、将kettle上传到Linux服务器,并解压缩2、在命令行执行./pan.sh -version./kitchen.sh -version3、如果能够看到以下输出,表示kettle可以正确运行Pan - Kettle version 8.2.0.0-342, build 8.2.0.0-342, build date : Pan - Start of run.E原创 2021-05-06 09:01:43 · 3853 阅读 · 1 评论 -
imply安装部署
Imply介绍Imply也是Druid的核心团队开发的,它基于Apache Druid开发了一整套大数据分析解决方案Imply基于Druid进行了一些组件开发,提供开源社区版本和商业版,简化了部署集群规划主机名称IP地址角色数据库hadoop102192.168.121.140zk、kafka、druid(overlord、coordinator)MySQLhadoop103192.168.121.141zk、kafka、druid(middleManag原创 2021-04-22 09:09:59 · 938 阅读 · 2 评论 -
Kettle作业和参数
目录一.Job(作业)Job Item(作业项)Job Hop(作业跳)作业示例二.参数一.Job(作业)大多数ETL项目都需要完成各种各样的操作,例如:如何传送文件验证数据库表是否存在,等等而这些操作都是按照一定顺序完成,Kettle中的作业可以串行执行转换来处理这些操作。Job Item(作业项)作业项是作业的基本构成部分。如同转换的组件,作业项也可以用图标的方式展示。作业顺序执行作业项,必须定义一个起点有一个「start」的作业项专门用来定义起点一个作业只能定一个开始作业项原创 2021-04-14 08:20:12 · 1078 阅读 · 0 评论 -
kettle常用其它组件
目录一.Kettle转换组件值映射增加序列一.Kettle转换组件转换是ETL的T,T就是Transform清洗、转换ETL三个部分中,T花费时间最长,是“一般情况下这部分工作量是整个ETL的2/3值映射值映射就是把字段的一个值映射成其他的值在数据质量规范上使用非常多,比如很多系统对应性别gender字段的定义不同系统1:1 男、2女系统2:f 男、m 女数据仓库统一为:male 男、female女需求:从user.json 中读取数据,并把gender列0 -> 男1原创 2021-03-28 15:44:16 · 3201 阅读 · 0 评论 -
Kettle整合Hadoop
目录一.kettle与hahoop环境整合Hadoop环境准备Hadoop file input组件Hadoop file output组件一.kettle与hahoop环境整合1、确保Hadoop的环境变量设置好HADOOP_USER_NAME为rootexport HADOOP_USER_NAME=root2、从hadoop下载核心配置文件/export/servers/hadoop-2.7.7/etc/hadoop/hdfs-site.xml/export/servers/hadoop-原创 2021-03-24 08:58:30 · 966 阅读 · 0 评论 -
Kettle生成日期维度数据(数仓项目)
目录生成日期维度数据Hive创建日期维度表使用Kettle构建以下组件结构图生成日期维度数据经过需求分析我们发现指标统计需要的日期类型比较多如果在事实表的时间字段上做文章,比较复杂,甚至有些根本无法获取到比如节假日、休息日、工作日信息。所以我们可以考虑提前准备一张日期维度表,准备好指标统计的日期类型。利用我们前面学习的kettle工具生成日期维度数据,需要借助于kettle的js脚本组件。kettle实现思路:日期使用 Canlendar、SimpleDateFormat,编写Javascrip原创 2021-03-21 19:01:43 · 2250 阅读 · 1 评论 -
Kettle整合Hive
目录一.kettle与Hive整合数据准备从hive中读取数据把数据保存到hive数据库执行Hive的HiveSQL语句一.kettle与Hive整合1、从虚拟机下载Hadoop的jar包/export/servers/hadoop-3.1.3/share/hadoop/common/hadoop-common-3.1.3.jar2、把jar包放置在\data-integration\lib目录下3、重启kettle,重新加载生效关掉之前打开的kettle重新启动!!数据准备1、连接hiv原创 2021-03-20 14:46:45 · 1919 阅读 · 0 评论 -
The broker does not support LIST_OFFSETS with version in range [2,4]. The supported range is [0,1]
"recentErrors": [ { "timestamp": "2021-03-14T11:06:45.295Z", "exceptionClass": "org.apache.kafka.common.errors.UnsupportedVersionException", "message": "org.apache.kafka.common.errors.UnsupportedVersionException: The broker does not s原创 2021-03-14 20:14:28 · 1884 阅读 · 0 评论 -
Kettle入门案例
目录Kettle入门案例Kettle输入/输出组件输入组件表输入生成记录输出组件表输出Kettle入门案例需求:把数据从CSV文件抽取到Excel文件1、在Kettle中新建转换2、拖拽一个CSV输入组件、一个Excel输出组件、并按住Shift拖动鼠标连接两个组件3、配置CSV输入组件、Excel输出组件具体实现:1、新建转换2、拖拽一个CSV输入组件、一个Excel输出组件、并按住Shift拖动鼠标连接两个组件shift+拖拉是连线3、配置CSV输入组件选择要进行导入的C原创 2021-03-11 20:55:34 · 726 阅读 · 0 评论 -
kettle转换mysql表数据中文乱码问题
解决方案参数 characterEncoding 默认值 utf-8原创 2021-02-09 18:22:51 · 577 阅读 · 0 评论 -
Kettle安装、配置
环境要求:安装、配置好JDK1、下载Kettle链接:https://pan.baidu.com/s/167mB7fFDUYUxng4wvBtDUQ 提取码:9cer 2、解压Kettle3、双击spoon.bat 启动spoon原创 2021-02-09 15:06:06 · 283 阅读 · 0 评论 -
Druid安装
安装包下载从https://imply.io/get-started 下载最新版本安装包安装部署imply集成了Druid,提供了Druid从部署到配置到各种可视化工具的完整的解决方案tar -zxvf imply-2.7.10.tar.gz -C /export/servers2)修改/export/servers/imply-2.7.10名称为/export/servers/implymv imply-2.7.10/ imply3)修改配置文件vi /export/servers/i原创 2020-08-07 22:03:50 · 428 阅读 · 0 评论 -
Presto安装
目录Presto安装Presto Server安装Presto命令行Client安装Presto可视化Client安装Presto安装Presto Server安装0)官网地址https://prestodb.github.io/1)下载地址https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.196/presto-server-0.196.tar.gz 2)将presto-server-0.196.tar.gz导原创 2020-08-05 22:10:44 · 270 阅读 · 0 评论