当前搜索:

[基础工具]离线数据立方体构建工具

在数据的实际使用过程中,我们经常需要进行多维度的组合汇总,做一个数据立方体。常见的方法是在各个维度下进行group by,建立多个任务,这样不利于代码查看和维护,同时也浪费开发时间
阅读(675) 评论(0)

[Hive]Hive指定查询输出分隔符

业务场景做数据分析的时候,经常会用到hive -e "sql" > xxx.txt或者最原始的hive命令行来获得查询结果,然后再将查询结果放到Excel等工具中,但是如果查询的字段太多,这时候将查询结果放到Excel会经常会碰到错位问题,很是头疼.解决方案一:借助lin...
阅读(14098) 评论(0)

[Hive]Hive执行脚本的方式以及转义字符

1. hive脚本的执行方式hive脚本的执行方式大致有三种: 1. hive控制台执行; 2. hive -e "SQL"执行; 3. hive -f SQL文件执行;参考hive的用法usage: hive -d,--define <key=value>...
阅读(16964) 评论(3)

[Hive]Hive静态分区与动态分区

1. 静态分区若分区的值是确定的,那么称为静态分区。下面举例一个业务场景: 统计程序每天都需要统计1号店中由精准化推荐带来的销售额,日期是确定的,现在需要将每天统计好的销售额数据插入到指定的日期分区中 1.1. 实现方式参见如下的脚本:hive -e " --设置Hive Job任务...
阅读(4648) 评论(0)

[Hive]Hive将一行记录拆分成多行

借助lateral view 和 explode,将一行记录拆分成多行
阅读(10237) 评论(0)

[Hive]Hive多分区操作

讲述Hive多分区表的创建、导入数据
阅读(7280) 评论(0)

[Hive]HBaseIntegration:通过Hive读写HBase

HBaseIntegration:通过Hive读写HBase
阅读(3819) 评论(2)

[Hive]Hive调优:让任务并行执行

Hive调优,让任务并行执行,描述优化流程、结论
阅读(10637) 评论(1)

[Hive]关于Hive的启动问题

业务背景用户轨迹工程脚本最近经常报错,报错如下:SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory] FAILED: Error in metadata: MetaException(message:java.la...
阅读(4489) 评论(0)

[Hive]Hive数据倾斜(大表join大表)

Hive数据倾斜(大表join大表)的现象、思路以及解决方案
阅读(8172) 评论(1)

[Hive]Hive分区表新增字段

[Hive]Hive分区表新增字段
阅读(23190) 评论(0)

[Hive]简单查询不启用Mapreduce job而启用Fetch task

转载自:http://blog.csdn.net/wypblog/article/details/17410315 如果你想查询某个表的某一列,Hive默认是会启用MapReduce Job来完成这个任务,如下: hive> SELECT id, money FROM m lim...
阅读(3198) 评论(0)

[Hive]MapReduce将数据写入Hive分区表

[Hive]MapReduce将数据写入Hive分区表
阅读(4942) 评论(0)

[Hive]求两个集合的减集

HIVE求两个集合的减集
阅读(4828) 评论(0)

[Hive]使用HDFS目录数据创建Hive表分区

Hive使用HDFS目录数据创建Hive表分区
阅读(5215) 评论(0)

[Hive]用left semi join替代in子查询的方式

hive用left semi join替代in子查询的方式
阅读(7209) 评论(0)

[Hive]用concat_w实现将多行记录合并成一行

hive concat_w实现将多行记录合并成一行
阅读(14766) 评论(1)

hive建立外表

hive建立外表
阅读(4738) 评论(0)

Shell脚本执行hive语句 | hive以日期建立分区表 | linux schedule程序 | sed替换文件字符串 | shell判断hdfs文件目录是否存在

Shell脚本执行hive语句 | hive以日期建立分区表 | linux schedule程序 | sed替换文件字符串 | shell判断hdfs文件目录是否存在
阅读(6622) 评论(1)

hive按当天日期建立分区表 | 动态往日期分区插入数据

hive按当天日期建立分区表 | 动态往日期分区插入数据
阅读(8522) 评论(1)
    个人资料
    专栏达人 持之以恒
    等级:
    访问量: 45万+
    积分: 6174
    排名: 5030
    第三方账号
    博客专栏