hive
文章平均质量分 75
Fei-joe
这个作者很懒,什么都没留下…
展开
-
hive 中文字段解决方法
使用Impala在kudu中创建含中文字段名的表Impala版本: 2.7.0+cdh5.10.2+0Kudu版本:1.4.0+cdh5.12.0+0Hue版本:3.9.0+cdh5.10.2+4153因业务需要,需要在kudu中创建含有中文字段的表。原来的方案是直接在Hue中Impala查询界面执行建表脚本,但是表中含有中文字段时,就会执行出错,建表脚本和出错信息如下:INSERT INTO `COLUMNS_V2` (`CD_ID`,`COMMENT`,`COLU...原创 2020-10-12 17:07:37 · 5145 阅读 · 0 评论 -
hive 计算时间差精确到小时 stamp差
You could use unix_timestamp for dates after 1970:SELECT (unix_timestamp('2013-01-01 10:10:10') - unix_timestamp('1970-01-01 00:00:00'))/60 Convert both dates to seconds from 1970-01-01 Subst...原创 2018-07-25 16:03:30 · 14908 阅读 · 0 评论 -
重新编译并安装Tez on hive(Tez 0.8.5,Hive 2.3.3)
author by Fei Joe (Thupdi 技术创新中心)一,maven3.3.9protoc的版本是2.5.0二,安装nodejsyum -y install gcc make gcc-c++ opensslwget http://nodejs.org/dist/v0.12.2/node-v0.12.2.tar.gz 解压后./configure 如果报错...原创 2018-09-17 14:37:55 · 1174 阅读 · 0 评论 -
hive创建表指定自定义多个字符
hive创建表指定分隔符,不支持多个字符作为分隔符,如果想使用多个字符作为分割符的话就需要实现InputFormat.主要重写next方法,代码如下package gaode_84;import java.io.IOException;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;...原创 2018-11-22 18:07:08 · 1108 阅读 · 0 评论 -
Hive 使用serde 处理分隔符
一Hive用正则表达式处理稍复杂数据的导入文件A正则解析器RegexSerDeregextserde用法使用该解析器来处理Apche Web日志数据的一个例子:这个例子好好读读处理web日志这个例子也说明了要想使用该解析器是需要导入相应的jar包的。关于output.format.string" = "%1s s %2ss %3s s %4ss %5s s %6ss %7s s %8s...原创 2018-11-28 13:04:42 · 1734 阅读 · 0 评论