网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
stored as orc
;
### (二)ClickHouse的ADS建表语句
create table if not exists hurys_dc_ads.ads_avg_volume_day_month(
scene_name String comment ‘场景名称’,
device_direction String comment ‘雷达朝向’,
sum_volume_month int comment ‘每月总流量’,
count_day int comment ‘每月总天数’,
avg_volume_day_month int comment ‘月均维度的日平均流量’,
month String comment ‘月份’
)ENGINE = MergeTree
PARTITION BY (month)
PRIMARY KEY month
order by month
SETTINGS index_granularity = 8192;
对于这类表,每天执行任务时scene\_name、device\_direction、month等String字段基本并不需要变,只有sum\_volume\_month、count\_day、avg\_volume\_day\_month等Int字段需要每日更新
![](https://img-blog.csdnimg.cn/direct/ba42edde8ee14bfbaf04d26f94853775.png)
## 三、对于插入更新这种需求,一般使用Kettle的增量插入更新
### (一)似MySQL关系型数据库
如果似MySQL这种关系型数据库,适合增删改查等事务性操作,那么可以直接用Kettle的插入更新控件
#### 1、Kettle的插入更新任务步骤(样例直接全量插入更新)
![](https://img-blog.csdnimg.cn/direct/b573b43128954d58b81583a202687df7.png)
##### (1)关键是插入更新控件配置
![](https://img-blog.csdnimg.cn/direct/1746e90813b84b549c227052c67b9532.png)
#### 2、在MySQL中直接修改表中数据
![](https://img-blog.csdnimg.cn/direct/cbe8f98219534968a8526ac2403996fd.png)
#### 3、再次运行Kettle任务
![](https://img-blog.csdnimg.cn/direct/886ba9aa176f4039a3007124a3fe0fab.png)
#### 4、在MySQL目标表中验证数据
![](https://img-blog.csdnimg.cn/direct/cb7ad120d2f440eeac7deaa2440ede41.png)
数据量并没增加,只是发生更新
### (二)类ClickHouse列式存储数据库
但是,对于ClickHouse这种列式存储数据库,不适合删除、修改等事务性操作,则没法直接使用Kettle的插入更新控件
#### 1、Kettle的插入更新任务步骤
![](https://img-blog.csdnimg.cn/direct/c797ba5706a94f869f65f7b713023128.png)
##### (1)关键是插入更新控件配置
用来查询的关键字是不需要基本不需要变更的字段,一般是主键,如果没有主键则几个字段组合成主键
更新字段是所有字段,不能把更新N,否则相关字段只能插入不能更新
![](https://img-blog.csdnimg.cn/direct/972c6531cda846efb3d71d11d2265169.png)
#### 2、用Kettle插入更新控件实现增量插入更新后,如果数据没有更改则运行没有问题
![](https://img-blog.csdnimg.cn/direct/c7c3e95e6d7f4ae7a6441c68290220f8.png)
#### 3、但是如果更改部分字段的数据,则会报错
##### (1)先在Hive中增加一天数据以增加DWS层表中数据
![](https://img-blog.csdnimg.cn/direct/ea776fc9cc1f44809fe6e8b3b7feaf17.png)
##### (2)再次运行Kettle任务,则会报错
![](https://img-blog.csdnimg.cn/direct/0ac4cf6be72a4226a1c28a95f5ea04ce.png)
所以,对于相同的插入更新控件配置,导入MySQL插入更新可以,导入ClickHouse插入更新则失败!
## 四、对于从Hive到ClickHouse,要实现插入更新的功能,只能先删除ClickHouse表数据再导入数据
### (一)删除ClickHouse数据方式
删除ClickHouse数据虽然有几种方法,可以delete,也可以删除分区,也可以truncate,也可以TTL设置保存时间,还可以删除数据文件,但是对这种需要即时删除ClickHouse表中最新的分区数据,无法用delete、TTL等方式实现,而删除分区又太麻烦,刚好这几张表的数据量较少,因此先采用truncate方式,先删除表数据,再全量导入即可
### (二)truncate方式实现方法
#### 1、SQL运行
![](https://img-blog.csdnimg.cn/direct/7cb00ebbed854fb6aaeaa6003fb4c78e.png)
#### 2、在表输出控件中勾选✔剪裁表
![](https://img-blog.csdnimg.cn/direct/c62a1a9c2ff34242a654b4221a166313.png)
这两种方式都试过,都可以!
但是为了避免勾选✔剪裁表后面可能导致问题,还是实现SQL实现稳妥些
![img](https://img-blog.csdnimg.cn/img_convert/4780857131e6cf62bf04164eb1300127.png)
![img](https://img-blog.csdnimg.cn/img_convert/8cda45d700e1360f0653ef13d24cbc2d.png)
![img](https://img-blog.csdnimg.cn/img_convert/cdd6be723a04cd9ad2ba12974971faa3.png)
**既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!**
**由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新**
**[需要这份系统化资料的朋友,可以戳这里获取](https://bbs.csdn.net/topics/618545628)**
阶课程,涵盖了95%以上大数据知识点,真正体系化!**
**由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新**
**[需要这份系统化资料的朋友,可以戳这里获取](https://bbs.csdn.net/topics/618545628)**