![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kettle
shenzhibiao
这个作者很懒,什么都没留下…
展开
-
消失的零点
(注:转自本人于2018-01-07 11:22:19博客)上午9点多醒来收到一封kettle数据同步失败的邮件,于是起来准备看下原因,报错代码为:Cannot parse “1990-04-15”: Illegal instant due to time zone offset transition(Asia/Shanghai) ,字面意思即由于Asia/Shanghai时区设置,无法解析日期...原创 2019-03-24 19:55:08 · 399 阅读 · 0 评论 -
通过kettle将关系型数据库中表导入hive中
思路要将关系型数据库中的表通过kettle导入到hive中,主要思路是两种:1.直接配置jdbc连接hiveserver2,通过表输入及表输出组件转换;2.先将关系型数据库中的表导入到hdfs中,再通过hdfs导入hive。现就这两种方式作以示例。本人使用kettle版本为8.2,关系型数据库为mysql。示例一、直接连接hiveserver2配置hive连接如下:点击测试,成功连接...原创 2019-08-11 18:12:14 · 2888 阅读 · 0 评论 -
通过kettle循环变量方式将关系型数据库表插入hive表分区
场景当需要将关系型数据库中的历史数据导入hive时,由于数据量较大,通常需要建立数据日期为分区的分区表存储。此时就需要设置日期变量,通过日期变量循环将数据插入hive表分区。示例在本作业中,涉及到的关键组件是表输入、复制记录到结果、从结果获取记录、设置变量、Hadoop file output、执行SQL脚本等。思路是先将源表中作为hive分区的字段查询出来作为变量(字段格式可能不一致),...原创 2019-08-17 18:30:44 · 1349 阅读 · 2 评论