hadoop
文章平均质量分 71
lhzyyang
分享是一种快乐
展开
-
Mac 环境下eclipse 搭建hadoop和hbase环境
1、搭建hadoop环境1)首先需要生成hadoop的插件1.1生成方式:从这里下载zip包https://github.com/winghc/hadoop2x-eclipse-plugin然后按照那里面的帮助说明进行编译可以参考我的命令:sudo ant jar -Dversion=2.6.0 -Dhadoop.version=2.6.0 -Declipse.home=/User转载 2015-04-25 16:13:47 · 1007 阅读 · 0 评论 -
如何通过命令行参数传给maper或者reducer
今天想通过给命令运行hadoop jar xxxx.jar args1 args2 jarcomand 时给reducer里面一个参数赋值,但是怎么试都不行google发现maper和reducer阶段是不能通过命令行赋值,因此通过configuration 这个类给数值赋值。具体做法1.2、原创 2015-05-08 17:42:09 · 462 阅读 · 0 评论 -
hbase 访问zookeeper的问题 坑
1、 Configuration config = HBaseConfiguration.create(); 书上说是会自动加载hbase-site.xml里面配置的zookeeper 配置但是实际上是访问的是localhost本地的zookeeper2181端口2、因此如果本地不是zookeeper server 的话就无法访问hbase 了3、解决办法通过参数传给程序例子:原创 2015-05-11 21:49:42 · 2259 阅读 · 0 评论 -
hadoop httpfs Server 配置坑
今天上线的时候启动httpfs的时候,每次访问都提示权限不够,相同的配置线下就没有问题。后来发现:1、core-site.xml里面的添加的配置必须在namenode的节点进行配置,在datanode配置是不起作用的。 hadoop.proxyuser.userxxxxx.hosts *原创 2015-05-11 21:43:15 · 923 阅读 · 0 评论