hive
文章平均质量分 71
明星it
这个作者很懒,什么都没留下…
展开
-
hive学习笔记
1. HIVE结构Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言,称为 QL,它允许熟悉 SQL 的用户查询数据。同时,这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 redu转载 2013-12-03 14:24:06 · 2878 阅读 · 0 评论 -
hive命令参数
$HIVE_HOME/bin/hive是一个shell工具,它可以用来运行于交互或者批处理方式配置单元查询,语法如下:1. -i filename 执行脚本文件filename,会在终端上显示mapreduce的进度,执行完毕后,最后把查询结果输出到终端上,然后进入交互模式 eg:hive -i script.sql 1 jim原创 2013-10-17 17:44:05 · 4767 阅读 · 0 评论 -
hive分区
一、背景1、在Hive Select查询中一般会扫描整个表内容,会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据,因此建表时引入了partition概念。2、分区表指的是在创建表时指定的partition的分区空间。3、如果需要创建有分区的表,需要在create表的时候调用可选参数partitioned by,详见表创建的语法结构。二、技术细节原创 2013-10-12 15:37:26 · 7851 阅读 · 0 评论 -
hive数据倾斜(大表join大表)
hive数据倾斜问题转载 2017-03-20 11:26:04 · 1860 阅读 · 0 评论 -
hive mapjoin操作
hive map端join原创 2017-03-22 11:41:05 · 745 阅读 · 0 评论 -
hive时间函数
hive时间函数总结原创 2017-03-14 14:32:02 · 797 阅读 · 0 评论 -
hive函数大全
非常全的hive函数大全,可以当做一个工具转载 2017-08-20 19:51:32 · 602 阅读 · 0 评论 -
hive join操作总结
hive 各种join做了详细总结,值得阅读转载 2017-08-20 10:58:05 · 575 阅读 · 0 评论 -
sqoop无法导出parquet文件到mysql
1.问题描述在CDH集群中我们需要将Hive表的数据导入到RDBMS数据库中,使用Sqoop工具可以方便的将Hive表数据抽取到RDBMS数据库中,在使用Sqoop抽取Hive Parquet表时作业执行异常。Sqoop抽数脚本:sqoop export \--connect jdbc:mysql://localhost:3306/test_db \--username root \--passw...转载 2018-06-08 14:56:59 · 5040 阅读 · 0 评论