hive
huangmr0610
简介
展开
-
Hive体系结构
1、Hive架构与基本组成 下面是Hive的架构图。图1.1 Hive体系结构 Hive的体系结构可以分为以下几部分: (1)用户接口主要有三个:CLI,Client 和 WUI。其中最常用的是CLI,Cli启动的时候,会同时启动一个Hive副本。Client是Hive的客户端,用户连接至Hive Server。在启动 Client模式转载 2015-09-15 15:48:03 · 856 阅读 · 0 评论 -
Hive入门指南
转自:http://blog.csdn.net/zhoudaxia/article/details/88425761、安装与配置 Hive是建立在Hadoop上的数据仓库软件,用于查询和管理存放在分布式存储上的大规模数据集。它提供: (1)一系列的工具,可以方便地对数据进行提取/转化/加载(ETL); (2)一种可以对各种数据格式上进行结构化的转载 2015-09-15 15:14:17 · 590 阅读 · 0 评论 -
Hive分区表创建、分类
一、分区表创建与说明必须在表定义时创建partitiona、单分区建表语句:create table day_table (id int, content string) partitioned by (dt string);单分区表,按天分区,在表结构中存在id,content,dt三列。以dt为文件夹区分b、 双分区建表语句:create table day转载 2015-09-16 09:49:36 · 13482 阅读 · 0 评论 -
hive优化
hive.optimize.cp=true:列裁剪hive.optimize.prunner:分区裁剪hive.limit.optimize.enable=true:优化LIMIT n语句hive.limit.row.max.size=1000000:hive.limit.optimize.limit.file=10:最大文件数1. 本地模式(小任务):需要满足以下条件转载 2015-09-16 11:36:34 · 423 阅读 · 0 评论 -
hive 常用参数
hive.exec.max.created.files•说明:所有hive运行的map与reduce任务可以产生的文件的和•默认值:100000 hive.exec.dynamic.partition•说明:是否为自动分区•默认值:falsehive.mapred.reduce.tasks.speculative.execution转载 2015-11-19 13:20:38 · 2254 阅读 · 0 评论 -
Hive设置参数的三种方法
Hive提供三种可以改变环境变量的方法,分别是:(1)、修改${HIVE_HOME}/conf/hive-site.xml配置文件;(2)、命令行参数;(3)、在已经进入cli时进行参数声明。下面分别来介绍这几种设定。 方法一: 在Hive中,所有的默认配置都在${HIVE_HOME}/conf/hive-default.xml文件中,如果需要对默认的配置进行修改,可以创建一个hi转载 2015-11-19 13:14:30 · 2969 阅读 · 0 评论