博客专栏  >  数据库   >  Hive应用

Hive应用

Hive的应用示例和使用心得,供正在学习或者感兴趣的朋友参考,欢迎交流

关注
11 已关注
23篇博文
  • hive脚本报错,mark【 Error: Exceeded limits on number of counters - Counters=120 Limit=120】

    运行一个hive脚本报错: [2013-02-25 14:54:00.372]Hadoop job information for Stage-1: number of mappers: 25; n...

    2013-02-26 16:30
    3552
  • hive merge小文件

    当Hive输入由很多个小文件组成,由于每个小文件都会启动一个map任务,如果文件过小,以至于map任务启动和初始化的时间大于逻辑处理的时间,会造成资源浪费,甚至OOM。 为此,当我们启动一个任务,发...

    2013-02-19 11:57
    15899
  • hive void类型

    hive文档中(http://blog.csdn.net/yfkiss/article/details/7752180)没有说明一种类型叫做void 但是,void类型确真实存在,并且,对有void类...

    2013-01-14 10:51
    4008
  • hive csv文件导入hive第一个字段内容为NULL

    从mysql中导出一张维度表,输出格式为csv 数据如下: 1       www.dianping.com        ^/shanghai$     上海首页        1 2  ...

    2013-01-05 10:38
    5317
  • hive删除partition遇到的编码、转义问题

    问题: 线上出现垃圾数据,由于数据进hive采用的是dynamic partition,这些垃圾数据有些是partiition字段 like: >show partitions dpdw_tra...

    2012-12-19 14:06
    5114
  • hive partition字段异常字符导致的问题

    线上一个任务报错,报错内容: Failed with exception javax.jdo.JDODataStoreException: Error executing JDOQL query "...

    2012-11-22 14:13
    4579
  • 转义字符引发的血案(hive、bash)

    hive hql:从一个字符串“p?a?b?c?ppp?hhh”中以?作为分隔符,找第5段字符串 bash程序: test.sh #!/bin/bash hive -e "select (sp...

    2012-10-23 15:22
    11159
  • hive join

    hive(0.9.0): 1.支持equality joins, outer joins, and left semi joins 2.只支持等值条件 3.支持多表join 原理 hiv...

    2012-10-18 22:10
    13390
  • hive Sort By/Order By/Cluster By/Distribute By

    Order by colOrder: ( ASC | DESC ) orderBy: ORDER BY colName colOrder? (',' colName colOrder?)* qu...

    2012-10-10 16:23
    11619
  • hive中文

    hadoop、hive都支持UTF-8编码,我们可以使用UTF-8编码来处理中文 以下两点需要注意: 1. 处理脚本为UTF-8格式,包括建表脚本,数据处理脚本 例如:如果在windows下使用...

    2012-10-18 16:00
    6634
  • hive null

    hive中NULL默认是以'\N'表示的 示例: 建表: hive> create table null_test_1(id INT, name STRING)      > ROW FORM...

    2012-09-04 17:30
    11468
  • hive 视图

    Hive 0.6版本及以上支持视图 Hive View具有以下特点: 1. View是逻辑存在,Hive暂不支持物化视图(1.0.3) 2. View只读,不支持LOAD/INSERT/ALTE...

    2012-08-30 17:33
    14167
  • hive索引

    索引是标准的数据库技术,hive 0.7版本之后支持索引。hive索引采用的不是'one size fites all'的索引实现方式,而是提供插入式接口,并且提供一个具体的索引实现作为参考。 hi...

    2012-08-17 09:46
    11371
  • hive修改表模式

    hive用户可以通过alter语句更改table属性 Alter Partitions 增加partitions: ALTER TABLE table_name ADD [IF...

    2012-08-14 09:20
    47284
  • hive web interface

    hwi(hive web interface)是hive命令行接口的一个补充,主要功能包括: 1.shema browsing :获取table的信息,包括serde、columen name、co...

    2012-08-08 11:12
    6136
  • hive array、map、struct使用

    hive提供了复合数据类型: Structs: structs内部的数据可以通过DOT(.)来存取,例如,表中一列c的类型为STRUCT{a INT; b INT},我们可以通过c.a来访问域a ...

    2012-08-08 10:50
    30521
  • hive bucket

    hive中table可以拆分成partition,table和partition可以通过‘CLUSTERED BY ’进一步分bucket,bucket中的数据可以通过‘SORT BY’排序。 bu...

    2012-08-01 11:35
    11929
  • hive partition

    partition是hive提供的一种机制:用户通过指定一个或多个partition key,决定数据存放方式,进而优化数据的查询 一个表可以指定多个partition key,每个partitio...

    2012-07-31 10:39
    17319
  • hive文件存储格式

    hive在建表是,可以通过‘STORED AS FILE_FORMAT’ 指定存储文件格式 例如: > CREATE EXTERNAL TABLE MYTEST(num INT, name STR...

    2012-07-27 14:46
    24693
  • hive数据导入

    可以通过多种方式将数据导入hive表 1.通过外部表导入 用户在hive上建external表,建表的同时指定hdfs路径,在数据拷贝到指定hdfs路径的同时,也同时完成数据插入external表...

    2012-07-24 09:57
    26662

img博客搬家
img撰写博客
img专家申请
img意见反馈
img返回顶部