- 博客(2)
- 收藏
- 关注
RSS订阅原创 yarn查看每个应用占用的cpu和内存
本文将介绍在不能使用yarn resource manager ui时，如何查看每个应用占用的cpu和内存方法1使用yarn top命令查看，和linux的top类似输出字段如下：APPLICATIONIDUSER TYPE QUEUE PRIOR #CONT #RCONT 使用的容器container个数VCORES RVCORES 使用的cpu核数MEM RMEM 使用的内存大小VCORE.
2021-09-23 19:19:30
8375
1
原创 ClickHouse借助ReplacingMergeTree实现重复数据删除
MergeTree引擎的表，由于重复入库导致了表中数据重复，需要将重复的数据删除，只保留一条记录。在使用Hive的时候，遇到这种情况通常是使用row_number取第一条插入到临时表中，然后将原表数据删除，再将临时表数据写回来就可以实现去重。但是CK（clickhouse）中不支持row_number函数，需要使用别的方法去重。翻阅文档后，发现可以使用ReplacingMergeTree + Optimize来手动实现去重。需要注意的是这种方式不太适合于超大数据量数据的去重。先介绍下Replacin
2021-09-05 10:01:26
12176
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人