hive
文章平均质量分 66
wulantian
做一个优秀的dba是我一直所追求的梦想!!!
展开
-
hive安装配置
hive安装配置---coco# by coco# 2014-07-255. hive的安装配置下载:apache-hive-0.13.1-bin.tar.gz[root@db96 local]# wget http://apache.fayea.com/apache-mirror/hive/hive-0.13.1/apache-hive-0.13.1-bin.ta原创 2014-07-25 11:19:11 · 40580 阅读 · 3 评论 -
hive优化方式和使用技巧
hive优化方式和使用技巧存储,学习,fen'x部分内容出处:http://www.atatech.org/article/detail/5617/0http://www.atatech.org/article/detail/4392/515 一.UDFS函数介绍1. 基本UDF(1)SHOWFUNCTIONS:这个用来熟悉未知函数。 DESCR转载 2014-11-06 10:49:35 · 1585 阅读 · 0 评论 -
Hive Operators and User-Defined Functions (UDFs) hive 日期函数
Hive Operators and User-Defined Functions (UDFs)Hive Operators and User-Defined Functions (UDFs)Built-in OperatorsRelational OperatorsArithmetic OperatorsLogical OperatorsComplex T转载 2014-11-06 10:51:49 · 2743 阅读 · 0 评论 -
使用shell+awk完成Hive查询结果格式化输出
使用shell+awk完成Hive查询结果格式化输出存储,学习,共享好久不写,一方面是工作原因,有些东西没发直接发,另外的也是习惯给丢了,内因所致。今天是个好日子,走起!btw,实际上这种格式化输出应该不只限于某一种需求,差不多是通用的。需求:--基本的:当前Hive查询结果存在数据与表头无法对齐的情况,不便于监控人员直接查看,或者导出到excel中,需要提供一个脚本,将查转载 2014-11-06 11:12:58 · 3233 阅读 · 1 评论 -
使用hive来分析flume收集的日志数据
flume学习(六):使用hive来分析flume收集的日志数据 存储,学习,分享前面已经讲过如何将log4j的日志输出到指定的hdfs目录,我们前面的指定目录为/flume/events。如果想用hive来分析采集来的日志,我们可以将/flume/events下面的日志数据都load到hive中的表当中去。如果了解hive的load da转载 2014-11-06 11:45:37 · 4519 阅读 · 0 评论 -
WARN [main] conf.HiveConf (HiveConf.java:initialize(1488)) - DEPRECATED: Configuration property hiv
问题描述:hive 关于告警问题的解决:WARN [main] conf.HiveConf (HiveConf.java:initialize(1488)) - DEPRECATED: Configuration property hive.metastore.local no longer has any effect. Make sure to provide a valid value原创 2014-12-01 14:35:45 · 3038 阅读 · 0 评论 -
Error: java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.hado
今天在数据合并的时候发现map 成功但是reduce总是失败,问题简单描述:把每天采集的数据,合并都汇总表中,按天为分区。如下看到map在执行时均成功:但是在最终的 reduce阶段失败,查找原因:Error: java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: org.apache原创 2014-12-02 09:00:29 · 26153 阅读 · 0 评论 -
从 MapReduce 到 Hive
1、背景介绍早先的工作中,有很多比较复杂的分析工作,当时对hive还不熟悉,但是java比较熟悉,所以在进行处理的时候,优先选择了MR. 但是随着工作的数据内容越来越多,越来越复杂,对应的调整也越来越多,越来越复杂.纯使用MR方式整个流程就比较复杂,如果需要修改某个部分,那首先需要修改代码中的逻辑,然后把代码打包上传到某个可访问路径上(一般就是hdfs),然后在调度平台内执行.如果改动较大转载 2014-12-02 10:49:36 · 6549 阅读 · 0 评论 -
Hive日期函数
存储,学习,共享转自大神 http://www.oratea.net/?p=944UNIX时间戳转日期函数: from_unixtime语法: from_unixtime(bigint unixtime[, string format])返回值: string说明: 转化UNIX时间戳(从1970-01-01 00:00:转载 2014-12-02 16:26:24 · 7186 阅读 · 0 评论 -
Hive:简单查询不启用Mapreduce job而启用Fetch task
存储,学习,共享如果你想查询某个表的某一列,Hive默认是会启用MapReduce Job来完成这个任务,如下:01hive> SELECT id, money FROM m limit 10;02Total MapReduce jobs = 103转载 2014-12-02 11:20:24 · 1778 阅读 · 0 评论 -
hive从查询中获取数据插入到表或动态分区
hive从查询中获取数据插入到表或动态分区存储,学习,分享Hive的insert语句能够从查询语句中获取数据,并同时将数据Load到目标表中。现在假定有一个已有数据的表staged_employees(雇员信息全量表),所属国家cnty和所属州st是该表的两个属性,我们做个试验将该表中的数据查询出来插入到另一个表employees中。INSERT OVERWRITE T转载 2014-11-05 13:55:29 · 1169 阅读 · 0 评论 -
hive操作create,alter等
hive操作create,alter等存储,学习,共享Hive 的官方文档中对查询语言有了很详细的描述,请参考:http://wiki.apache.org/hadoop/Hive/LanguageManual ,本文的内容大部分翻译自该页面,期间加入了一些在使用过程中需要注意到的事项。Create TableCREATE [EXTERNAL] TABLE [IF NO转载 2014-11-05 14:53:36 · 853 阅读 · 0 评论 -
hive与hdfs整合过程
hive与hdfs整合过程---coco# by coco# 2014-07-25hive的具体练习:(以下4个目标)1. 第一普通的hdfs文件能导入到hive中,以供我们查询。2. 第二hbase中的表,能导入hive中,以供我们查询。3. 第三mysql中的表,能导入hive中,以供我们查询。4. hive中的各种查询分析结果,能导入到mysql当原创 2014-07-25 11:23:54 · 29780 阅读 · 1 评论 -
hive与hbase整合过程
hive与hbase整合过程---coco# by coco# 2014-07-25 本文主要实现一下目标: 1. 在hive中创建的表能直接创建保存到hbase中。 2. hive中的表插入数据,插入的数据会同步更新到hbase对应的表中。 3. hbase对应的列簇值变更,也会在Hive中对应的表中变更。 4. 实现了多列,多列簇的转原创 2014-07-25 11:22:31 · 27837 阅读 · 2 评论 -
hive常用命令整理
// hhive常用功能:1. 开启行转列功能之后:set hive.cli.print.header=true; // 打印列名set hive.cli.print.row.to.vertical=true; // 开启行转列功能, 前提必须开启打印列名功能set hive.cli.print.row.to.vertical.num=1; // 设置每行显示的列数2.原创 2014-07-25 11:58:13 · 29865 阅读 · 1 评论 -
hive-hwi-0.13.1图形界面配置
//hive-hwi-0.13.1图形界面配置# by coco# 2014-07-29安装好hive-hwi-0.13.1,cli端用着也挺爽的,想尝试一下hwi界面。于是就配置如下:其实手动配置过hive-hwi-0.13.1的都会发现hive0.13.1没有hwi.war包。所以我们需要下载一个hwi.war包。在网上是很难找到的,我是采用去源码中找到hw原创 2014-07-29 15:58:33 · 9246 阅读 · 7 评论 -
MySQL server version for the right syntax to use near 'OPTION SQL_SELECT_LIMIT=DEFAULT' at line 1
hive删除表时报错如下:hive> drop table aaa;FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:javax.jdo.JDODataStoreException: You have an error in yo原创 2014-07-29 17:20:58 · 37883 阅读 · 8 评论 -
Hadoop Hive sql语法详解
Hadoop Hive sql语法详解存储,学习,共享 Hive 是基于Hadoop 构建的一套数据仓库分析系统,它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据,可以将结构化的数据文件映射为一张数据库表,并提供完整的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行,通过自己的SQL 去查询分析需要的转载 2014-11-18 16:28:06 · 1272 阅读 · 0 评论 -
hive查询优化总结
hive查询优化总结 存储,学习,分享一、join优化 Join查找操作的基本原则:应该将条目少的表/子查询放在 Join 操作符的左边。原因是在 Join 操作的 Reduce 阶段,位于 Join 操作符左边的表的内容会被加载进内存,将条目少的表放在左边,可以有效减少发生内存溢出错误的几率。 Join查找操作中如果存在多个join,且所有参与join的表中转载 2014-11-05 10:00:18 · 2157 阅读 · 0 评论 -
HIVE中join、semi join、outer join举例详解
HIVE中join、semi join、outer join举例详解收藏,学习,共享举例子:hive> select * from zz0; 111111 222222 888888 hive> select * from zz1; 111111 333333 444444 888888hive> select * from zz0 join z转载 2014-11-05 09:51:29 · 859 阅读 · 0 评论 -
最新版本的Hive 0.13发布,增加ACID特性
最新版本的Hive 0.13发布,增加ACID特性存储,学习,共享发表于2014-04-23 08:16| 3735次阅读| 来源Cwiki| 2 条评论| 作者Alan Gates大数据ACIDHiveHadoop摘要:Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能,可以将SQL语句转换为转载 2014-11-06 09:28:25 · 988 阅读 · 0 评论 -
Hive实战之日志分析
Hive实战之日志分析 学习,存储,转载一、场景介绍本文主要讲述使用 hive 的实践,业务不是关键,简要介绍业务场景,本次的任务是对搜索日志数据进行统计分析。集团搜索刚上线不久,日志量并不大 。这些日志分布在 5 台前端机,按小时保存,并以小时为周期定时将上一小时产生的数据同步到日志分析机,统计数据要求按小时更新。这些统计项,包括关键词搜索量转载 2015-06-03 09:53:22 · 9552 阅读 · 3 评论