Maxwell_

年年岁岁花相似,岁岁年年人不同

排序:
默认
按更新时间
按访问量

[基础工具]离线数据立方体构建工具

在数据的实际使用过程中,我们经常需要进行多维度的组合汇总,做一个数据立方体。常见的方法是在各个维度下进行group by,建立多个任务,这样不利于代码查看和维护,同时也浪费开发时间

2017-11-14 17:17:20

阅读数:919

评论数:0

[Hive]Hive指定查询输出分隔符

业务场景做数据分析的时候,经常会用到hive -e "sql" > xxx.txt或者最原始的hive命令行来获得查询结果,然后再将查询结果放到Excel等工具中,但是如果查询的字段太多,这时候将查询结果放到Excel会经常会碰到错位问题,很是头疼.解决方案一:借助lin...

2016-09-17 01:21:16

阅读数:17424

评论数:0

[Hive]Hive执行脚本的方式以及转义字符

1. hive脚本的执行方式hive脚本的执行方式大致有三种: 1. hive控制台执行; 2. hive -e "SQL"执行; 3. hive -f SQL文件执行;参考hive的用法usage: hive -d,--define <key=value>...

2016-09-17 01:20:08

阅读数:21894

评论数:3

[Hive]Hive静态分区与动态分区

1. 静态分区若分区的值是确定的,那么称为静态分区。下面举例一个业务场景: 统计程序每天都需要统计1号店中由精准化推荐带来的销售额,日期是确定的,现在需要将每天统计好的销售额数据插入到指定的日期分区中 1.1. 实现方式参见如下的脚本:hive -e " --设置Hive Job任务...

2016-09-17 01:15:52

阅读数:5645

评论数:0

[Hive]Hive将一行记录拆分成多行

借助lateral view 和 explode,将一行记录拆分成多行

2015-06-03 23:05:57

阅读数:12610

评论数:0

[Hive]Hive多分区操作

讲述Hive多分区表的创建、导入数据

2015-05-27 20:11:20

阅读数:8202

评论数:0

[Hive]HBaseIntegration:通过Hive读写HBase

HBaseIntegration:通过Hive读写HBase

2015-05-26 20:50:24

阅读数:3879

评论数:2

[Hive]Hive调优:让任务并行执行

Hive调优,让任务并行执行,描述优化流程、结论

2015-05-14 09:25:11

阅读数:13619

评论数:1

[Hive]关于Hive的启动问题

业务背景用户轨迹工程脚本最近经常报错,报错如下:SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory] FAILED: Error in metadata: MetaException(message:java.la...

2015-05-12 13:45:20

阅读数:4600

评论数:0

[Hive]Hive数据倾斜(大表join大表)

Hive数据倾斜(大表join大表)的现象、思路以及解决方案

2015-05-12 10:23:36

阅读数:10452

评论数:1

[Hive]Hive分区表新增字段

[Hive]Hive分区表新增字段

2015-04-03 09:58:23

阅读数:32426

评论数:0

[Hive]简单查询不启用Mapreduce job而启用Fetch task

转载自:http://blog.csdn.net/wypblog/article/details/17410315 如果你想查询某个表的某一列,Hive默认是会启用MapReduce Job来完成这个任务,如下: hive> SELECT id, money FROM m lim...

2015-04-03 09:21:58

阅读数:3246

评论数:0

[Hive]MapReduce将数据写入Hive分区表

[Hive]MapReduce将数据写入Hive分区表

2015-04-02 16:45:24

阅读数:5431

评论数:0

[Hive]求两个集合的减集

HIVE求两个集合的减集

2015-01-13 14:10:48

阅读数:5199

评论数:0

[Hive]使用HDFS目录数据创建Hive表分区

Hive使用HDFS目录数据创建Hive表分区

2014-12-22 17:36:12

阅读数:5598

评论数:0

[Hive]用left semi join替代in子查询的方式

hive用left semi join替代in子查询的方式

2014-12-01 17:52:34

阅读数:7804

评论数:0

[Hive]用concat_w实现将多行记录合并成一行

hive concat_w实现将多行记录合并成一行

2014-11-19 19:51:01

阅读数:19357

评论数:1

hive建立外表

hive建立外表

2014-10-10 11:04:14

阅读数:5341

评论数:0

Shell脚本执行hive语句 | hive以日期建立分区表 | linux schedule程序 | sed替换文件字符串 | shell判断hdfs文件目录是否存在

Shell脚本执行hive语句 | hive以日期建立分区表 | linux schedule程序 | sed替换文件字符串 | shell判断hdfs文件目录是否存在

2014-08-21 11:46:36

阅读数:6911

评论数:1

hive按当天日期建立分区表 | 动态往日期分区插入数据

hive按当天日期建立分区表 | 动态往日期分区插入数据

2014-08-15 19:26:15

阅读数:10556

评论数:1

提示
确定要删除当前文章?
取消 删除