- 博客(10)
- 资源 (1)
- 收藏
- 关注
原创 BitmapIndex的Block的概念
allen@allen-laptop:~/Desktop/hive-0.8.1$ cd binallen@allen-laptop:~/Desktop/hive-0.8.1/bin$ ./hive12/03/28 15:12:47 WARN conf.Configuration: DEPRECATED: hadoop-site.xml found in the classpath. Usage
2012-03-28 15:22:12 1072
原创 Hive-0、8.1 多列索引
上来先做实验hive> create table pre_data_triple (id1 int ,id2 int,name string) > ROW FORMAT DELIMITED
2012-03-25 23:48:41 1071
原创 Hive-0.8.1 索引解析(BitMapIndex)
上来先做实验,用0.8.1下面的table03,来做这个BitMapIndex的实验。hive> dfs -ls /user/hive/warehouse/table03;Found 6 items-rw-r--r-- 1 allen supergroup 67109134 2012-03-12 21:48 /user/hive/warehouse/table03/000000
2012-03-14 13:44:18 4163
原创 Hive-0.8.1 索引解析(CompactIndex)
上一节已经做了实验了,结论就是Hive0.8.1多了0.7.1没有的几个选项: hive.optimize.index.filter true Whether to enable automatic use of indexes hive.optimize.index.groupby false Whether to enable optimization
2012-03-13 16:36:37 3637
原创 Hive-0.8.1索引的实验
先说一个0.7.1和0.8.1的Metastore不兼容一。外部表的索引。因为怕麻烦,就继续用之前的table02的数据,在new meta里也叫table02,不过改成了external表。最后的结论是Hive的索引也是支持外部表的。建立索引,运行。还是6个mapper,不行。二。建立内部表CTAS from table02,建立一个内部表table03;重点是,换了
2012-03-12 22:36:12 2310
原创 Hive执行流程分析
先看0.7.1的执行过程:hive> select * from table02 where id=500000;对于这样的一个查询,Hive从CliDriver这个类的main函数开始:CliDriver.main(String[] args) CliSessionState ss=new CliSessionState(new HiveConf(SessionState.
2012-03-08 15:49:20 2869 1
原创 Hive0.7.1中CompactIndex的实现---一个Hive的MapredTask如何执行
我们的关键在plan的建立上!!! int ret = compile(command);//compile command---key point of plan generating :生成plan。一个简单的query:hive> select * from table02 where id=500000;基本流程是这样的:CliDriver.pro
2012-03-05 20:37:47 2425
原创 Hive实验-CompactIndex索引的建立与使用
一。准备数据#! /bin/bash#generating 350M raw data.i=0while [ $i -ne 1000000 ]do echo "$i\tA decade ago, many were predicting that Cooke, a New York City prodigy, would become a basketball shoe
2012-03-04 22:42:11 3213
原创 Ubuntu下安装eclipse开发环境for Hive(mysql)
一。安装mysql for Hive metadata$ sudo apt-get install mysql-server$ mysql -u root -ppassword$ vi /etc/mysql/my.cnf port=3306 socket=/var/run/mysqld/mysqld.sock ...二. Hive的配置
2012-03-04 16:32:54 4082 2
hadoop-0.21.0-eclipse-plugin-3.6.jar
2012-03-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人