hivesql

语法:

分析函数 over(partition by 分组列 order by 排序列 rows between 开始位置 and 结束位置)

常用分析函数

  • 聚合类
    avg()、sum()、max()、min()

  • 排名类
    row_number() 按照值排序时产生一个自增编号,不会重复
    rank() 按照值排序时产生一个自增编号,值相等时会重复会产生空位
    dense_rank() 按照值排序时产生一个自增编号,值相等时会重复,不会产生空位

  • 其他类
    lag(列名,往前的行数,[行数为null时的默认值,不指定为null])
    lead(列名,往后的行数,[行数为null时的默认值,不指定为null])
    ntile(n) 把有序分区中的行分发到指定数据的组中,各个组有编号,编号从1开始,对于每一行,ntile返回此行所属的组的编号

  • 注意点:

  • over()函数中的分区、排序、指定窗口范围,可组合使用也可以不指定,根据不同的业务场景需求结合使用
  • over()函数中如果不指定分区,窗口大小默认针对查询产生的所有数据,如果指定了分区,窗口大小针对每个分区的数据
  • over()函数中的窗口范围说明:
    current row:当前行
    unbounded:起点,unbounded preceding 表示从前面的起点, unbounded following表示到后面的终点
    n preceding :往前n行数据
    n following:往后n行数据

指定一个窗口边界:rows between+可选项+and+可选项  or  range between+可选项+and+可选项

rows between CURRENT ROW UNBOUNDED PRECEDING | [num] PRECEDING and  UNBOUNDED FOLLOWING | [num] FOLLOWINGCURRENT ROW

range between [num] PRECEDING  and [num]FOLLOWING

保姆级翻译:

CURRENT ROW ==>current row当前行

UNBOUNDED PRECEDING ==>unbounded preceding 第一行或则说首行

[num] PRECEDING ==> [num] preceding 前几行

UNBOUNDED FOLLOWING ==>unbounded following 最后一行

[num] FOLLOWING ==>[num] following 后几行

用图表示如下:

ROWS是物理窗口,从行数上控制窗口的尺寸的;

RANGE是逻辑窗口,从列值上控制窗口的尺寸。这个比较难理解,但说白了就简单了,具体解释如下面栗子1.

结合order by子句使用,如果在order by子句后面没有指定窗口子句,则默认为:range between unbounded preceding and current row 或则是 rows between unbounded preceding and current row 
 举例1:详细内容请点链接看  hive sql经典面试题

后续再添加上案例...

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
1.上传tar包 2.解压 tar -zxvf hive-1.2.1.tar.gz 3.安装mysql数据库 推荐yum 在线安装 4.配置hive (a)配置HIVE_HOME环境变量 vi conf/hive-env.sh 配置其中的$hadoop_home (b)配置元数据库信息 vi hive-site.xml 添加如下内容: javax.jdo.option.ConnectionURL jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true JDBC connect string for a JDBC metastore javax.jdo.option.ConnectionDriverName com.mysql.jdbc.Driver Driver class name for a JDBC metastore javax.jdo.option.ConnectionUserName root username to use against metastore database javax.jdo.option.ConnectionPassword hadoop password to use against metastore database 5.安装hive和mysq完成后,将mysql的连接jar包拷贝到$HIVE_HOME/lib目录下 如果出现没有权限的问题,在mysql授权(在安装mysql的机器上执行) mysql -uroot -p #(执行下面的语句 *.*:所有库下的所有表 %:任何IP地址或主机都可以连接) GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION; FLUSH PRIVILEGES; 6. Jline包版本不一致的问题,需要拷贝hive的lib目录中jline.2.12.jar的jar包替换掉hadoop中的 /home/hadoop/app/hadoop-2.6.4/share/hadoop/yarn/lib/jline-0.9.94.jar 启动hive bin/hive ---------------------------------------------------------------------------------------------------- Hive几种使用方式: 1.Hive交互shell bin/hive 2.Hive JDBC服务(参考java jdbc连接mysql) 3.hive启动为一个服务器,来对外提供服务 bin/hiveserver2 nohup bin/hiveserver2 1>/var/log/hiveserver.log 2>/var/log/hiveserver.err & 启动成功后,可以在别的节点上用beeline去连接 bin/beeline -u jdbc:hive2://mini1:10000 -n root 或者 bin/beeline ! connect jdbc:hive2://mini1:10000 4.Hive命令 hive -e ‘sql’ bin/hive -e 'select * from t_test'

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值