bitzwc-CSDN博客

原创 hive 补全某字段的空值，取字段上一条非空记录的值

一、问题我们经过遇到这样的问题，要补全一个表某列的空值，策略是按某个规则排序后，取上一个非空的值替代。二、思路1、首先分组获取行号2、找到被替代值所在的行号，以及下一个替代值的行号3、把开始行号到下一个替代值行号的区间（左闭右开区间）数组展开，得到被替代值在每个行的值4、原表join3生成的表三、实现1、先做一个测试表，有三列字段：uid,time,event。分别...

2018-12-07 20:41:00 11492 3

原创 hive yyyymmdd和yyyyMMdd的坑

1、hive使用from_unixtime(int timestamp,'yyyymmdd')时会出现转化出的日期不正确，但是使用from_unixtime(unix_timestamp('2018/12/02','yyyy/mm'dd),'yyyy-mm-dd')时又正确的转换了 2、正确的用法月份字母应该大写from_unixtime(int timestamp,'y...

2018-12-03 14:36:53 9355

原创 hadoop fs -du

hadoop fs -du /test统计test目录下各文件大小hadoop fs -du -s /test统计test目录下所有文件大小

2018-10-25 17:05:40 7676 1

原创 hive变量命名空间

hive变量命名空间有四个：hivevar，hiveconf，system，env。（上图来自《hive编程指南》）hive cli启动时可通过--define和--hivevar、--hiveconf来自定义变量。其中--define和--hivevar的作用是一样的，都是在hivevar命名空间定义变量。hive cli --define y=1hive cli --h...

2018-10-17 11:02:15 735

原创 hive安装本地模式报错Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient解决

在本地安装了jdk、mysql和hadoop环境后启动hive，输入show tables;报错hive> show tables;FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate...

2018-10-16 19:30:07 1467 1

原创 mysql安装报错error while loading shared libraries: libaio.so.1: cannot open shared object file: No such

使用ubantu安装mysql时，出现报错root@zwc-virtual-machine:/home/soft/mysql# ./scripts/mysql_install_db --user=mysql --datadir=/home/soft/mysql/mysqldata/mysqlInstalling MySQL system tables..../bin/mysqld: err...

2018-10-16 16:11:18 3457

原创 linux的chmod用法详解

chmod用于更改linux中文件所属组和用户的对应权限。一般用十位的字符表示，如-rw-r--r-x。第一个-参数属于管理员，跟chmod无关,先不管。2-4参数:属于user5-7参数:属于group8-10参数:属于othersr:read读的权限==>4w:write写的权限==>2x:excute执行的权限==>1一般用8进制的一位数分别制定user、gr

2016-09-10 20:38:04 411

bitzwc的博客