hive
tylgoodluck
这个作者很懒,什么都没留下…
展开
-
Hive 的可拓展性
文章转自: http://www.chinaovo.net/hive/295.htm Hive 是一个很开放的系统,很多内容都支持用户定制,包括:文件格式:Text File,Sequence File内存中的数据格式: Java Integer/String, Hadoop IntWritable/Text用户提供的 map/reduce 脚本:不管什么语言,利用 stdin转载 2011-11-17 09:24:15 · 898 阅读 · 0 评论 -
hive 中简单介绍分区表
转自http://blog.csdn.net/jiedushi/article/details/6778521hive中简单介绍分区表hive中创建分区表没有什么复杂的分区类型(范围分区、列表分区、hash分区、混合分区等)。分区列也不是表中的一个实际的字段,而是一个或者多个伪列。意思是说在表的数据文件中实际上并不保存分区列的信息与数据。下面的语句创建了一个简单的分区表:转载 2011-11-24 09:50:14 · 899 阅读 · 0 评论 -
hive 分区表
hive sql分区表 转自: http://blog.csdn.net/lpxuan151009/article/details/6653514hive> create table lpx_partition_test(global_id int, company_name string)partitioned by (stat_date string, province s转载 2011-11-23 22:37:42 · 1915 阅读 · 0 评论 -
HIVE中UDTF编写和使用
HIVE中UDTF编写和使用1. UDTF介绍UDTF(User-Defined Table-Generating Functions) 用来解决 输入一行输出多行(On-to-many maping) 的需求。2. 编写自己需要的UDTF继承org.apache.hadoop.hive.ql.udf.generic.GenericUDTF。实现initi转载 2011-11-23 10:06:59 · 2242 阅读 · 0 评论 -
Hive UDAF 开发
本文转自:http://richiehu.blog.51cto.com/2093113/386113Hive进行UDAF开发,相对要比UDF复杂一些,不过也不是很难。请看一个例子package org.hrj.hive.udf;import org.apache.hadoop.hive.ql.exec.UDAFEvaluator;import org.apa转载 2011-11-22 22:23:31 · 753 阅读 · 0 评论 -
Hive UDF 开发
转自 http://richiehu.blog.51cto.com/2093113/386112 Hive进行UDF开发十分简单,此处所说UDF为Temporary的function,所以需要hive版本在0.4.0以上才可以。 Hive的UDF开发只需要重构UDF类的evaluate函数即可。例:package com.hrj.hive.udf;转载 2011-11-22 22:21:06 · 483 阅读 · 0 评论 -
hive sql 用法
DDL Operations创建表hive> CREATE TABLE pokes (foo INT, bar STRING); 创建表并创建索引字段dshive> CREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY (ds STRING); 显示所有表hive> SHOW TABLES;按正条件(正则表达原创 2011-11-17 22:27:07 · 3052 阅读 · 0 评论 -
hive使用mysql保存metastore
文章转自 http://blog.csdn.net/jiedushi/article/details/6579956 hive使用mysql保存metastoreHive 将元数据存储在 RDBMS 中,有三种模式可以连接到数据库: 1)ingle User Mode: 此模式连接到一个 In-memory 的数据库 Derby,一般用于 Unit Test。 2)Mu转载 2011-11-16 22:45:57 · 656 阅读 · 0 评论 -
hive元数据存储在mysql 字符集utf8 修改
表或者字段有中文的时候需要修改hive的元数据库的设置。以mysql为例子,当mysql的字符集设置成utf8的时候使用hive会有问题(com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Specified key was too long; max key length is 767 bytes)所以当h原创 2011-11-24 22:14:20 · 3555 阅读 · 0 评论