- 博客(3)
- 资源 (11)
- 收藏
- 关注
RSS订阅原创 mapreduce程序reduce输出控制
1，在hadoop中，reduce支持多个输出,输出的文件名也是可控的，就是继承MultipleTextOutputFormat类，重写generateFileNameForKey方法 public class LzoHandleLogMr extends Configured implements Tool { static class LzoHandleLogMapper extend
2012-02-25 22:01:38
5373
原创 hive中lzo文件map不分块问题
1,确保创建索引 $HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/lib/hadoop-lzo-0.4.10.jar com.hadoop.compression.lzo.DistributedLzoIndexer /user/hive/warehouse/flog 2，创建hive表时需要在后面指定format格式 SET FILEFORMAT
2012-02-24 15:51:44
2501
转载 Facebook数据仓库揭秘：RCFile高效存储结构
本文介绍了Facebook公司数据分析系统中的RCFile存储结构，该结构集行存储和列存储的优点于一身，在MapReduce环境下的大规模数据分析中扮演重要角色。 Facebook曾在2010 ICDE（IEEE International Conference on Data Engineering）会议上介绍了数据仓库Hive。Hive存储海量数据在Hadoop系统中，提供了一套类数据库的数
2012-02-22 22:52:02
1967
cx-oracle instantclient-basic-win32-10.2.0.4 第一部分
2011-03-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人