2014年06月_skyWalker_ONLY

原创 Hive学习之部署UDF的四种方法

在向Hive添加自定义的UDF或者添加Hive自带的类，如GenericUDFDBOutput时，需要将包含UDF类的Jar包添加到Hive环境中，这样就可以使用Create [temporary]function创建函数了，添加UDF Jar包有四种方法，下面分别进行介绍。第一种是最常见但也不招人喜欢的方式是使用ADD JAR(s)语句，之所以说是不招人喜欢是，通过该方式添加的jar文件只存

2014-06-30 15:00:12 8657

Hive默认情况下以内嵌模式使用Derby数据库做为metastore，该模式最大的缺陷是不支持多个客户端同时连接到metastore上，因此只适合用于学习测试的目的，要在实际生产上使用Hive需要将metastore配置为本地模式或者远程模式，现在就介绍如何以本地模式配置metastore，使用的数据库为MySQL5.6.19。在进行配置之前先要安装MySQL数据库，一般情况下Linux系统中已

2014-06-26 15:00:14 10041 1

原创 Hive学习之函数DDL和Show、Describe语句

创建/删除函数创建临时函数下面的语句创建由class_name实现的临时函数，该函数被创建后只能够在当前会话中使用，会话结束后函数失效。实现函数的类可以是Hive类路径中的任意类，可以使用Add Jar语句向Hive类路径添加类。CREATE TEMPORARY FUNCTION function_name AS class_name删除临时函数使用下面的语句可以

2014-06-20 14:33:06 30061 1

原创 Hive学习之视图、索引DDL

创建视图视图是纯逻辑对象并不关联任何存储，下面的语句使用给定view_name名称创建视图，若view_name与现存的表或者视图重名，则出错。CREATE VIEW [IF NOTEXISTS] view_name [(column_name [COMMENT column_comment], ...) ] [COMMENTview_comment][TBLPROPERTIES(p

2014-06-17 14:17:27 6288

原创 Hive学习之修改表、分区、列

修改表/分区/列修改表的语句允许改变现有表的结构，通过该语句可以增加列/分区，修改SerDe，增加表和SerDe的属性或者重命名表。与之类似，修改分区的语句可以改变指定分区的属性。重命名表重命名表的语句如下：ALTER TABLE table_name RENAME TOnew_table_name修改表属性修改表属性的语句如下：ALTER TABLE table_na

2014-06-12 11:08:38 40239

原创 Hive学习之创建、删除、Truncate表

创建表的语句有两种，分别为： CREATE [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT c

2014-06-08 19:16:49 33917 1

原创 Hive学习之Hive数据库DDL

Hive提供了与SQL相似的数据定义语言(DDL)，对于熟悉SQL的人来说，学习Hive的DDL是非常容易得，即使从未接触过SQL的人，学习也不是一件很难的事情。虽然本人对SQL有一定的了解，但绝不敢自称熟悉SQL，所以准备对HiveQL进行深入的学习，按照SQL通常的学习曲线，先学习DDL，再学习DML（数据操作语言）。由于需要演示一些语句的示例，不得不超前使用一些其它语句，比如show、des

2014-06-04 11:38:54 3928

skyWalker_ONLY