- 博客(6)
- 资源 (2)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Hadoop如何读取复杂格式的文件，例如XML、HTML、图像等，附源码
Hadoop读取复杂格式的文件是个大问题，之前除了sequencefile和textfile，就不能支持其他的文件了，现在我改写了这个FileFormat和RecordReader，不光可以支持XML，也同样可以使用HTML，图像(复杂格式的也可以支持)等。整个分为4个文件F
2011-08-01 14:24:41
3382
5
转载 美国遥感专业介绍与申请
<br />2006 geoinformatics时goodchild去武测了，传说很多人追着合影，不知道以后有没有机会一睹牛人风采。 Dar Roberts在植被遥感上很牛（http://www.lifesci.ucsb.edu/eemb/resources/tepee/index.html），但他现在没什么遥感上的项目，正在作加州的carbon cycling，因为本身我对此挺感兴趣，还是申了，对本科生只能先申MA。Annemarie Schneider，就是从bu毕业的，很pp噢，有点偏人文和经济角
2011-06-01 20:26:00
2797
原创 工作感悟
<br />我的几点感悟：<br />1，百度地图的信息非常丰富，但是它也是购买的第三方的POI数据。可以直观的看到百度的POI数据在量远胜于我们公司的POI数据。可以推断百度是将所有的数据都索引了，提供查询。<br />2，但是我们认为我们的POI数据在质上要胜过百度，因为数据量其实是相同的，我们做的是导航，目的是将用户指引到指定地点吗，因此我们不仅要对道路数据的准确性提出很高的要求，还要对POI数据的准确性提供同样的要求。因为我们的面对的都是付费用户，所以我们在后台对POI进行了验证，通过内部筛选得到正
2011-05-31 18:59:00
599
原创 如何在Hadoop中随机写
<br />题目有点忽悠人，希望被忽悠进来的筒子接着看，会有收获的<br /> <br /><br />最近 由于 项目 中 遇到了TIFF（我们的TIFF文件是 GeoTiff）批量处理的问题，并且由于HDFS读写 图像文件功能的缺失，所以我们就自定义了Hadoop 的 ImageInputFormat ImageRecordReader等类， 将 文件的 名称封装在 Key中 ，将 文件的 内容 放入FSDataInputStream ，封装在 Value中 ， 完成了读取的工作，但是 当
2010-07-12 15:50:00
4012
4
转载 HadoopDB混合数据库问世
众目期待之下，首款集关系型数据库的数据处理能力与Hadoop、MapReduce等下一代技术的可伸缩性于一身的开源并行数据库HadoopDB正式发布。7月20日，美国耶鲁大学计算机科学教授Daniel J. Abadi在其博客中公布了HadoopDB推出的消息。HadoopDB是Abadi领导的开发团队利用不同的组件，包括开源数据库、PostgreSQL、Apache Hadoop数据分类
2009-09-28 22:40:00
1138
1
大家好，问大家一个问题，关于跳跃表的
2011-03-11
TA创建的收藏夹 TA关注的收藏夹
TA关注的人