liwei_1988-CSDN博客

原创 BitmapIndex的Block的概念

allen@allen-laptop:~/Desktop/hive-0.8.1$ cd binallen@allen-laptop:~/Desktop/hive-0.8.1/bin$ ./hive12/03/28 15:12:47 WARN conf.Configuration: DEPRECATED: hadoop-site.xml found in the classpath. Usage

2012-03-28 15:22:12 1070

原创 Hive-0、8.1 多列索引

上来先做实验hive> create table pre_data_triple (id1 int ,id2 int,name string) > ROW FORMAT DELIMITED

2012-03-25 23:48:41 1059

原创 Hive-0.8.1 索引解析（BitMapIndex）

上来先做实验，用0.8.1下面的table03，来做这个BitMapIndex的实验。hive> dfs -ls /user/hive/warehouse/table03;Found 6 items-rw-r--r-- 1 allen supergroup 67109134 2012-03-12 21:48 /user/hive/warehouse/table03/000000

2012-03-14 13:44:18 4157

原创 Hive-0.8.1 索引解析（CompactIndex）

上一节已经做了实验了，结论就是Hive0.8.1多了0.7.1没有的几个选项： hive.optimize.index.filter true Whether to enable automatic use of indexes hive.optimize.index.groupby false Whether to enable optimization

2012-03-13 16:36:37 3635

原创 Hive-0.8.1索引的实验

先说一个0.7.1和0.8.1的Metastore不兼容一。外部表的索引。因为怕麻烦，就继续用之前的table02的数据，在new meta里也叫table02，不过改成了external表。最后的结论是Hive的索引也是支持外部表的。建立索引，运行。还是6个mapper，不行。二。建立内部表CTAS from table02，建立一个内部表table03；重点是，换了

2012-03-12 22:36:12 2299

原创 Hive执行流程分析

先看0.7.1的执行过程：hive> select * from table02 where id=500000;对于这样的一个查询，Hive从CliDriver这个类的main函数开始：CliDriver.main(String[] args) CliSessionState ss=new CliSessionState(new HiveConf(SessionState.

2012-03-08 15:49:20 2853 1

原创 Hive0.7.1中CompactIndex的实现---一个Hive的MapredTask如何执行

我们的关键在plan的建立上！！！ int ret = compile(command);//compile command---key point of plan generating ：生成plan。一个简单的query：hive> select * from table02 where id=500000;基本流程是这样的：CliDriver.pro

2012-03-05 20:37:47 2412

原创 Hive实验-CompactIndex索引的建立与使用

一。准备数据#! /bin/bash#generating 350M raw data.i=0while [ $i -ne 1000000 ]do echo "$i\tA decade ago, many were predicting that Cooke, a New York City prodigy, would become a basketball shoe

2012-03-04 22:42:11 3198

原创 Ubuntu下安装eclipse开发环境for Hive(mysql)

一。安装mysql for Hive metadata$ sudo apt-get install mysql-server$ mysql -u root -ppassword$ vi /etc/mysql/my.cnf port=3306 socket=/var/run/mysqld/mysqld.sock ...二. Hive的配置

2012-03-04 16:32:54 4050 2

hadoop-0.21.0-eclipse-plugin-3.6.jar

这个jar包和发行版中自带的hadoop-0.21.0-eclipse-plugin.jar都有相同的问题，就是被eclipse加载后，无法添加loaction，需要向jar包内lib目录中添加 hadoop-hdfs-0.21.0.jar hadoop-mapred-0.21.0.jar log4j-1.2.15.jar 修改jar包内META-INF目录中的MANIFEST.MF Bundle-ClassPath: classes/,lib/commons-cli-1.2.jar,lib/hadoop-common.jar,lib/hadoop-hdfs-0.21.0.jar,lib/hadoop-mapred-0.21.0.jar,lib/log4j-1.2.15.jar

2012-03-06

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

liwei_1988的专栏