Hive常用命令及问题

记录工作中Hive方面的常用命令和问题

一、常用命令

  • 1.查看文件路径
    • 进入hive客户端:dfs -ls 路径

      dfs -ls oss://xxx/xxx/xxx/dt=2020-08-04

    • 不进入hive客户端:hadoop fs -ls 或者 hdfs dfs -ls

      hadoop fs -ls oss://xxx/xxx/xxx/dt=2020-08-04

  • 2.查看文件大小
    • 进入hive客户端:dfs -du -h 路径

      dfs -du -h oss://xxx/xxx/xxx/dt=2020-08-04

    • 不进入hive客户端: hadoop fs -du -h 或者 hdfs dfs -du -h

  • 3.修复表的分区
    msck repair table table_name
  • 4.下载HDFS到客户端
    下载文件到客户端的当前路径下
    hadoop fs -get 'oss://xxx/ordm.client_event_13_0000036199.json' .
    

二、常见问题

  • 1.row_number 、rank 、dense_rank的区别
    row_number:不管排名是否有相同的,都按照顺序1,2,3……n
    rank:排名相同的名次一样,同一排名有几个,后面排名就会跳过几次
    dense_rank:排名相同的名次一样,且后面名次不跳跃
©️2020 CSDN 皮肤主题: 1024 设计师:上身试试 返回首页