hive
kyle0349
这个作者很懒,什么都没留下…
展开
-
CDH5.14 spark2.4.0配置python3 以及读取hive表
在cdh5.14上装好spark5.14后,如果使用pyspark的话,默认是使用系统的python,一般是python2.7配置使用python31、在各个节点上安装好python3,路径要一致2、在cdh的配置页面2.1、选择spark22.2、选择配置页签2.3、搜索env2.4、在spark2-conf/spark-env.sh 的 Spark 2 服务高级配置代码段(安全...原创 2019-11-12 22:06:43 · 1270 阅读 · 0 评论 -
hive 1.1.0版本 获取周数, 解决跨年的bug
背景项目中有一个报表是留存率,包括日留存,周留存,月留存。其中在计算周留存率时,可能会直接想到【weekofyear】这个函数,然后简单拼接年就可以得到周数,大部分时候是对的,但在跨年的时候可能会出现bug。hive> select concat(year('2019-08-01'),'-',weekofyear('2019-08-01'));OK2019-31Time t...原创 2019-08-04 01:46:39 · 2372 阅读 · 2 评论 -
hive 1.1.0版内置函数大全
在hive中使用show functions 查看所有hive支持的函数describe function xxx 查看具体xxx函数的定义以下表格是hive1.1.0支持的所有函数及定义,其实主要用到的函数并不多,后续另外详细列举平时常用的函数例子。hive functiondescribe!! a - Logical not!=a != b - Ret...原创 2019-08-04 11:31:02 · 1426 阅读 · 0 评论