Hive数仓
离线数仓技术,hive的概念,数据倾斜等处理,hive调优等等
李大头@.@
这个作者很懒,什么都没留下…
展开
-
Hive架构图
2021年大数据hive学习 Hive架构图原创 2021-06-30 15:40:53 · 230 阅读 · 0 评论 -
hadoop balancer - dfs.balance.bandwidthPerSec
dfs.balance.bandwidthPerSec默认设置:1048576(1M/S) 参数含义:设置balance工具的运行中所能占用的带宽,设置的过大可能会造成mapred运行缓慢。 设置该参数需要修改hdfs-site.xml文件: <property> <name>dfs.balance.bandwidthPerSec</name> <value>20971520</value> </property> 上面是设转载 2021-06-25 10:05:33 · 540 阅读 · 0 评论 -
Hive赋予用户查询某表权限
Hive赋予用户查询某表权限 grant select on table 库名.表名 to user 用户名 ; 展示用户查询表权限 show grant user 用户名 on table 表名.库名 ;原创 2021-06-25 09:57:03 · 3062 阅读 · 3 评论 -
Hive的表格删除,查看表格存储空间大小占用命令
查询数仓文件夹大小,按G单位,大小降序排序: hdfs dfs -du -h /user/bigdata/hive/warehouse/xxx.db | grep "G" | sort -nrk 1 | head -n50 查询该数仓层总文件大小 hdfs dfs -du -s -h /user/bigdata/hive/warehouse/tdata.db 查询垃圾回收站总大小 hdfs dfs -du -s -h /user/bigdata/.Trash/... 清理垃圾站文件(rm慎用)原创 2021-06-23 14:45:07 · 526 阅读 · 2 评论