二百二十四、Kettle——曲线实现从Hive插入更新到ClickHouse（分区字段是month或year）

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）

正文

order by month
SETTINGS index_granularity = 8192;

对于这类表，每天执行任务时scene\_name、device\_direction、month等String字段基本并不需要变，只有sum\_volume\_month、count\_day、avg\_volume\_day\_month等Int字段需要每日更新


![](https://img-blog.csdnimg.cn/direct/ba42edde8ee14bfbaf04d26f94853775.png)


## 三、对于插入更新这种需求，一般使用Kettle的增量插入更新


### （一）似MySQL关系型数据库


如果似MySQL这种关系型数据库，适合增删改查等事务性操作，那么可以直接用Kettle的插入更新控件


#### 1、Kettle的插入更新任务步骤（样例直接全量插入更新）


![](https://img-blog.csdnimg.cn/direct/b573b43128954d58b81583a202687df7.png)


##### （1）关键是插入更新控件配置


![](https://img-blog.csdnimg.cn/direct/1746e90813b84b549c227052c67b9532.png)


#### 2、在MySQL中直接修改表中数据


![](https://img-blog.csdnimg.cn/direct/cbe8f98219534968a8526ac2403996fd.png)


#### 3、再次运行Kettle任务


![](https://img-blog.csdnimg.cn/direct/886ba9aa176f4039a3007124a3fe0fab.png)


#### 4、在MySQL目标表中验证数据


![](https://img-blog.csdnimg.cn/direct/cb7ad120d2f440eeac7deaa2440ede41.png)


数据量并没增加，只是发生更新


### （二）类ClickHouse列式存储数据库


但是，对于ClickHouse这种列式存储数据库，不适合删除、修改等事务性操作，则没法直接使用Kettle的插入更新控件


#### 1、Kettle的插入更新任务步骤


![](https://img-blog.csdnimg.cn/direct/c797ba5706a94f869f65f7b713023128.png)


##### （1）关键是插入更新控件配置


用来查询的关键字是不需要基本不需要变更的字段，一般是主键，如果没有主键则几个字段组合成主键


更新字段是所有字段，不能把更新N，否则相关字段只能插入不能更新


![](https://img-blog.csdnimg.cn/direct/972c6531cda846efb3d71d11d2265169.png)


#### 2、用Kettle插入更新控件实现增量插入更新后，如果数据没有更改则运行没有问题


![](https://img-blog.csdnimg.cn/direct/c7c3e95e6d7f4ae7a6441c68290220f8.png)


#### 3、但是如果更改部分字段的数据，则会报错


##### （1）先在Hive中增加一天数据以增加DWS层表中数据


![](https://img-blog.csdnimg.cn/direct/ea776fc9cc1f44809fe6e8b3b7feaf17.png)


##### （2）再次运行Kettle任务，则会报错


![](https://img-blog.csdnimg.cn/direct/0ac4cf6be72a4226a1c28a95f5ea04ce.png)


所以，对于相同的插入更新控件配置，导入MySQL插入更新可以，导入ClickHouse插入更新则失败！


## 四、对于从Hive到ClickHouse，要实现插入更新的功能，只能先删除ClickHouse表数据再导入数据


### （一）删除ClickHouse数据方式


删除ClickHouse数据虽然有几种方法，可以delete，也可以删除分区，也可以truncate，也可以TTL设置保存时间，还可以删除数据文件，但是对这种需要即时删除ClickHouse表中最新的分区数据，无法用delete、TTL等方式实现，而删除分区又太麻烦，刚好这几张表的数据量较少，因此先采用truncate方式，先删除表数据，再全量导入即可


### （二）truncate方式实现方法


#### 1、SQL运行


![](https://img-blog.csdnimg.cn/direct/7cb00ebbed854fb6aaeaa6003fb4c78e.png)


#### 2、在表输出控件中勾选✔剪裁表


![](https://img-blog.csdnimg.cn/direct/c62a1a9c2ff34242a654b4221a166313.png)


这两种方式都试过，都可以！


但是为了避免勾选✔剪裁表后面可能导致问题，还是实现SQL实现稳妥些


## 五、Kettle任务步骤


![](https://img-blog.csdnimg.cn/direct/4ae3558393b84725b03cd59b827f0cea.png)


### （一）执行SQL脚本


![](https://img-blog.csdnimg.cn/direct/c1a3e46713584a6dad6151cf15809348.png)


### （二）hive输入


![](https://img-blog.csdnimg.cn/direct/6ccab7622cff4244abace220a4211e8b.png)




**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）**
![img](https://img-blog.csdnimg.cn/img_convert/af3c6fc517a6532d0b0d44bf0abb7613.png)

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

可以添加V获取：vip204888 （备注大数据）**
[外链图片转存中...(img-x6nZt24E-1713171098206)]

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**