[大数据]Hive
yeweiouyang
这个作者很懒,什么都没留下…
展开
-
hive按当天日期建立分区表 | 动态往日期分区插入数据
hive按当天日期建立分区表 | 动态往日期分区插入数据原创 2014-08-15 19:26:15 · 20247 阅读 · 3 评论 -
[Hive]用left semi join替代in子查询的方式
hive用left semi join替代in子查询的方式原创 2014-12-01 17:52:34 · 10107 阅读 · 0 评论 -
[Hive]求两个集合的减集
HIVE求两个集合的减集原创 2015-01-13 14:10:48 · 7175 阅读 · 0 评论 -
[Hive]使用HDFS目录数据创建Hive表分区
Hive使用HDFS目录数据创建Hive表分区原创 2014-12-22 17:36:12 · 8862 阅读 · 0 评论 -
[Hive]Hive将一行记录拆分成多行
借助lateral view 和 explode,将一行记录拆分成多行原创 2015-06-03 23:05:57 · 39319 阅读 · 0 评论 -
[Hive]关于Hive的启动问题
业务背景用户轨迹工程脚本最近经常报错,报错如下:SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]FAILED: Error in metadata: MetaException(message:java.lang.RuntimeException: commitTransaction was called bu原创 2015-05-12 13:45:20 · 5312 阅读 · 0 评论 -
[Hive]Hive静态分区与动态分区
1. 静态分区若分区的值是确定的,那么称为静态分区。下面举例一个业务场景: 统计程序每天都需要统计1号店中由精准化推荐带来的销售额,日期是确定的,现在需要将每天统计好的销售额数据插入到指定的日期分区中1.1. 实现方式参见如下的脚本:hive -e "--设置Hive Job任务队列set mapred.job.queue.name=pms;--创建精准化销售额数据汇总表create t原创 2016-09-17 01:15:52 · 7023 阅读 · 0 评论 -
[Hive]Hive执行脚本的方式以及转义字符
1. hive脚本的执行方式hive脚本的执行方式大致有三种: 1. hive控制台执行; 2. hive -e "SQL"执行; 3. hive -f SQL文件执行;参考hive的用法usage: hive -d,--define <key=value> Variable subsitution to apply to hive原创 2016-09-17 01:20:08 · 33167 阅读 · 3 评论 -
[Hive]Hive指定查询输出分隔符
业务场景做数据分析的时候,经常会用到hive -e "sql" > xxx.txt或者最原始的hive命令行来获得查询结果,然后再将查询结果放到Excel等工具中,但是如果查询的字段太多,这时候将查询结果放到Excel会经常会碰到错位问题,很是头疼.解决方案一:借助linux管道替换输出分隔符样例如下:# 方法一:sedhive -e "select * from pms.pms_algorith原创 2016-09-17 01:21:16 · 34098 阅读 · 0 评论 -
[Hive]用concat_w实现将多行记录合并成一行
hive concat_w实现将多行记录合并成一行原创 2014-11-19 19:51:01 · 43510 阅读 · 2 评论 -
[Hive]HBaseIntegration:通过Hive读写HBase
HBaseIntegration:通过Hive读写HBase原创 2015-05-26 20:50:24 · 4385 阅读 · 2 评论 -
[Hive]Hive多分区操作
讲述Hive多分区表的创建、导入数据原创 2015-05-27 20:11:20 · 19310 阅读 · 0 评论 -
Shell脚本执行hive语句 | hive以日期建立分区表 | linux schedule程序 | sed替换文件字符串 | shell判断hdfs文件目录是否存在
Shell脚本执行hive语句 | hive以日期建立分区表 | linux schedule程序 | sed替换文件字符串 | shell判断hdfs文件目录是否存在原创 2014-08-21 11:46:36 · 8080 阅读 · 1 评论 -
hive建立外表
hive建立外表原创 2014-10-10 11:04:14 · 8533 阅读 · 0 评论 -
hive常用命令
hive常用命令原创 2014-05-15 19:35:16 · 1336 阅读 · 0 评论 -
[Hive]Hive分区表新增字段
[Hive]Hive分区表新增字段原创 2015-04-03 09:58:23 · 50669 阅读 · 0 评论 -
[Hive]简单查询不启用Mapreduce job而启用Fetch task
转载自:http://blog.csdn.net/wypblog/article/details/17410315如果你想查询某个表的某一列,Hive默认是会启用MapReduce Job来完成这个任务,如下:hive> SELECT id, money FROM m limit 10;Total MapReduce jobs = 1Launching Job 1 out of转载 2015-04-03 09:21:58 · 3466 阅读 · 0 评论 -
[Hive]MapReduce将数据写入Hive分区表
[Hive]MapReduce将数据写入Hive分区表原创 2015-04-02 16:45:24 · 8037 阅读 · 0 评论 -
[Hive]Hive数据倾斜(大表join大表)
Hive数据倾斜(大表join大表)的现象、思路以及解决方案原创 2015-05-12 10:23:36 · 21579 阅读 · 6 评论 -
[Hive]Hive调优:让任务并行执行
Hive调优,让任务并行执行,描述优化流程、结论原创 2015-05-14 09:25:11 · 26511 阅读 · 5 评论 -
[基础工具]离线数据立方体构建工具
在数据的实际使用过程中,我们经常需要进行多维度的组合汇总,做一个数据立方体。常见的方法是在各个维度下进行group by,建立多个任务,这样不利于代码查看和维护,同时也浪费开发时间原创 2017-11-14 17:17:20 · 2184 阅读 · 0 评论