2014年05月_skyWalker_ONLY

原创 Hive学习之Hive数据类型

Hive到0.13.0版本为止已经支持越来越多的数据类型，像传统数据库中的VCHAR、CHAR、DATE以及所特有的复合类型MAP、STRUCT等。Hive中的数据类型可以分为数值类型、字符串类型、日期时间类型、复合类型以及其它类型，下面分别予以介绍。数值类型Hive中的数值类型与Java中的数值类型很相似，区别在于有些类型的名称不一样，可以概括为如下的表格：类型名称

2014-05-29 17:09:51 52293

原创 Hive学习之Hive CLI

Hive命令行接口（CLI）提供了执行Hive QL、设置参数等功能，要启用CLI只需要在命令行下执行$HIVE_HOME/bin/hive命令。在命令下执行hive –H可以查看CLI选项，如下表所示：-d,--define 应用于Hive命令的变量替换，如-d A=B或者--define A=B--database 指定所使用的

2014-05-28 15:25:06 5674

Hive是基于Hadoop的数据仓库，而Hadoop为数据的存储和处理提供了很强的水平扩展和容错功能。Hive能够轻松地汇总数据，特定查询和分析大数据，提供了简单的查询语言HiveQL，该语言基于SQL，这使得熟悉SQL的用户可以执行特定查询，容易得汇总和分析数据。同时Hive QL允许map/reduce程序员能够插入定制的mapper和reducer去执行更加复杂的分析，HiveQL的内建功能

2014-05-24 12:07:13 5404

原创 Hive学习之Hive Web接口

Hive的web接口是CLI的备选方案，使用web接口是开始使用Hive的一种很好的方式。Hive的web接口（HWI）是一个简单的图形用户接口（GUI）。HWI在Hive-0.2分支版本中第一次出现，，如果使用的是0.2或者之后的版本，不需要做任何修改就可以直接使用HWI，HWI的默认配置在HiveConf.java文件中：// HWIHIVEHWILISTENHOST("hive.

2014-05-22 16:48:51 9842

原创 Hive学习之Metastore及其配置管理

在学习Hive的配置管理参数时，曾将参数分为四类：Hive管理参数、Hive元存储（Metastore）管理参数、与Hadoop交互的管理参数、用于传递运行时信息的参数，当时并没有对Metastore参数进行深入的学习，现在就开始学习这部分的内容。Hive中表和分区的所有元数据都存储在Hive的元存储（Metastore）中。元数据使用JPOX（Java Persistent Objects）

2014-05-19 10:13:55 27095

原创 Hive学习之Hive配置管理

Hive是基于Hadoop的一种数据仓库，对查询和管理分布式存储中的超大数据集提供了很大帮助。正如绝大部分开源软件一样，Hive允许用户调整参数改变Hive的默认行为。用户可以使用下面三种方法中的任意一种对Hive进行配置管理：1. 在Hive的CLI（命令行接口）使用set命令在会话层级为后续语句设置参数值，比如：set hive.exec.scratchdir=/tmp/myd

2014-05-16 10:46:17 7306

原创 Hadoop学习之配置Eclipse远程调试Hadoop

在构建完成Hadoop项目后，接下来就应该跟踪Hadoop的运行情况，比如在命令行执行hadoop namenode–format时执行了Hadoop的那些代码。当然也可以直接通过阅读源代码的方式来做到这一点，但跟踪代码的执行情况更加直观，更容易理解。在动手配置Eclipse调试Hadoop之前，先大概学习一下JPDA（Java Platform Debugger Architecture，J

2014-05-11 12:48:47 7683 2

原创 Hadoop学习之Eclipse构建Hadoop项目

之前根据Hadoop官方文档对HDFS、MapReduce的架构、配置管理等进行了学习，但某些地方官方文档讲解的比较模糊。做过开发的人都能够体会，官方文档有些类似业务规则或者要求，而真正的细节还是需要深入研究源代码的。基于以上的原因，决定深入学习Hadoop的源代码，虽然现在已经出现Hadoop-2.x的文档版本，但还是决定学习Hadoop-1.x的源码，而要想研究源代码最好的方法还是先构建Had

2014-05-07 16:34:10 6096

skyWalker_ONLY