Hadoop如何读取复杂格式的文件,例如XML、HTML、图像等,附源码

Hadoop读取复杂格式的文件是个大问题,之前除了sequencefile和textfile,就不能支持其他的文件了,现在我改写了这个FileFormat和RecordReader,不光可以支持XML,也同样可以使用HTML,图像(复杂格式的也可以支持)等。整个分为4个文件 F

2011-08-01 14:24:41

阅读数 2665

评论数 5

美国遥感专业介绍与申请

<br />2006 geoinformatics时goodchild去武测了,传说很多人追着合影,不知道以后有没有机会一睹牛人风采。 Dar Roberts在植被遥感上很牛(http://www.lifesci.ucsb.edu/eemb/resources/tepee/index...

2011-06-01 20:26:00

阅读数 2336

评论数 0

工作感悟

<br />我的几点感悟:<br />1,百度地图的信息非常丰富,但是它也是购买的第三方的POI数据。可以直观的看到百度的POI数据在量远胜于我们公司的POI数据。可以推断百度是将所有的数据都索引了,提供查询。<br />2,但是我们认为我们的POI数据在质上要...

2011-05-31 18:59:00

阅读数 472

评论数 0

如何在Hadoop中随机写

<br />题目有点忽悠人,希望被忽悠进来的筒子接着看,会有收获的<br /> <br /><br />最近 由于 项目 中 遇到了TIFF(我们的TIFF文件 是 GeoTiff)批量处理的问题,并且由于HDFS读写 图像文件功能的缺失,所以我们...

2010-07-12 15:50:00

阅读数 2742

评论数 4

如何在仅仅启动HDFS情况下处理HDFS中的文件

Hadoop中读取HDFS中文件

2010-07-09 21:31:00

阅读数 1040

评论数 0

HadoopDB混合数据库问世

众目期待之下,首款集关系型数据库的数据处理能力与Hadoop、MapReduce等下一代技术的可伸缩性于一身的开源并行数据库HadoopDB正式发布。7月20日,美国耶鲁大学计算机科学教授Daniel J. Abadi在其博客中公布了HadoopDB推出的消息。HadoopDB是Abadi领导的开...

2009-09-28 22:40:00

阅读数 987

评论数 1

提示
确定要删除当前文章?
取消 删除
关闭
关闭