Hadoop/HBase/Hive/MR
hongrenldd
这个作者很懒,什么都没留下…
展开
-
远程提交Map/Reduce任务
1. 将开发好MR代码打包成jar。添加到distributed cache中。 bin/hadoop fs -copyFromLocal /root/stat-analysis-mapred-1.0-SNAPSHOT.jar /user/root/lib 2. 在服务器端创建和你客户端一模一样的用户。创建目录 /tmp/hadoop-root/stagging/用户 ...原创 2012-08-28 21:20:00 · 89 阅读 · 0 评论 -
用maven的ant run插件自动部署MR job依赖的jar到HDFS
背景 远程提交MR job时将MR job依赖的所有jar都发布到HDFS中,同时将这些jar加到hadoop job的classpath上。 如果每次手动上传就太费劲。项目集成maven。所以打算在maven package时将所有jar通过脚本上传到远程HDFS上 编写ant脚本 使用了,haddop的ant 插件。说白了就是一些util方法,调用了fsshell。没...2012-09-07 20:37:41 · 157 阅读 · 0 评论