- 博客(2)
- 资源 (3)
- 收藏
- 关注
翻译 MapReduce并行创建反向索引
使用Mapreduce可以并行的创建反向索引。假如你输入的是文本文件,输出是元组列表,每个元组由一个数据和包含该数据的文件列表组成。常规处理办法需要将这些数据连接在一起,而且是在内存中执行连接操作。但是有大量数据执行操作的话,将可能消耗掉内存,也可以使用数据库中介存储工具,但是这样会降低运行效率。更好的方法是标记每行,并生成每行只包含一个数据的中间文件,然后对这些中间文件进行排序,最后打出所有
2015-10-19 11:25:14 942
转载 SpatialHadoop:有效的分析你的空间数据
一、简介SpatialHadoop是一个开源的MapReduce扩展,专门用于在ApacheHadoop集群上处理空间数据。SpatialHadoop内置了空间高级语言,空间数据类型、空间索引和高效的空间操作。二、安装和配置SpatialHadoop1、配置SpatialHadoopSpatialHadoop设计了一个通用的运行方式,它可以在任何一个已配置好的Hadoop集
2015-10-08 14:58:35 1122 1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人