hadoop
文章平均质量分 71
lhzyyang
分享是一种快乐
展开
-
Mac 环境下eclipse 搭建hadoop和hbase环境
1、搭建hadoop环境 1)首先需要生成hadoop的插件 1.1生成方式:从这里下载zip包https://github.com/winghc/hadoop2x-eclipse-plugin 然后按照那里面的帮助说明进行编译 可以参考我的命令:sudo ant jar -Dversion=2.6.0 -Dhadoop.version=2.6.0 -Declipse.home=/User转载 2015-04-25 16:13:47 · 1022 阅读 · 0 评论 -
如何通过命令行参数传给maper或者reducer
今天想通过给命令运行hadoop jar xxxx.jar args1 args2 jarcomand 时给reducer里面一个参数赋值,但是怎么试都不行 google发现maper和reducer阶段是不能通过命令行赋值, 因此通过configuration 这个类给数值赋值。 具体做法 1. 2、原创 2015-05-08 17:42:09 · 483 阅读 · 0 评论 -
hbase 访问zookeeper的问题 坑
1、 Configuration config = HBaseConfiguration.create(); 书上说是会自动加载hbase-site.xml里面配置的zookeeper 配置 但是实际上是访问的是localhost本地的zookeeper2181端口 2、因此如果本地不是zookeeper server 的话就无法访问hbase 了 3、解决办法通过参数传给程序 例子:原创 2015-05-11 21:49:42 · 2310 阅读 · 0 评论 -
hadoop httpfs Server 配置坑
今天上线的时候启动httpfs的时候,每次访问都提示权限不够,相同的配置线下就没有问题。 后来发现: 1、core-site.xml里面的添加的配置必须在namenode的节点进行配置,在datanode配置是不起作用的。 hadoop.proxyuser.userxxxxx.hosts *原创 2015-05-11 21:43:15 · 968 阅读 · 0 评论