Hadoop云平台
ayheos
这个作者很懒,什么都没留下…
展开
-
基于Hadoop实现通用的并行任务处理
利用Hadoop云技术框架实现通用的并行任务处理功能,将原本只是单机程序改造成最终运行在Hadoop云平台里原创 2011-03-03 14:50:00 · 1479 阅读 · 0 评论 -
通过脚本实现简单替换Hdfs上的文件
<br />有时需要替换Hdfs上的文件,但Hadoop目前没提供相应的hadoop fs -mv命令,如是自己动手通过脚本实现,此脚本支持通配符,支持文件夹整个上传等:<br /> <br />#!/usr/bin/env bashprePath=$2args=$1func_putFile() { file=$1 hadoopFile=$(basename $file) echo "put file: $file" hadoop fs -rm $prePath/$hadoop原创 2011-03-03 16:09:00 · 1109 阅读 · 0 评论 -
HadoopDB(耶鲁大学的老师弄的基于hive+hadoop的东东)
前段时间学习hadoop时,在网上看到了HadoopDB(http://db.cs.yale.edu/hadoopdb/hadoopdb.html),学习了下,觉得还是有些价值,下面是我对HadoopDB的一些理解。原创 2011-03-07 10:49:00 · 3386 阅读 · 0 评论 -
fuse-dfs安装配置
fuse-dfs是hadoop项目自带的一个功能模块。主要实现把dfs上的数据映射至本地指定mount点。由于现存的软件无法直接使用hdfs上的数据,所以此时可以借助fuse来实现本地文件系统的映射。原创 2011-02-21 15:50:00 · 5225 阅读 · 0 评论