hadoop
weilanhaiyu2
这个作者很懒,什么都没留下…
展开
-
hadoop 部署
1 groupadd hadoop useradd -ingroup hadoop hadoop // 在自己的机器上有个问题。即我把home目录单独分区了。但是home目录的权限问题不对。可能下次重启还需设置。 2. 配置ssh无密码登录, 基础的部分网上都有,其中由两个需要注意的地方。 2.1 authorizedkeys 文件的权限一定要修改,尤其是在你自己生成的时原创 2015-09-17 10:14:55 · 332 阅读 · 0 评论 -
hadoop 调试
一直想用eclipse调试hadoop,可是网上的资料都是大部分都是说如何用eclipse开发hadoop的。其实那只是一个hadoop客户端的调试功能。要想真正的调试hadoop,就需要利用java的远程调试功能。具体方法如下:1 在hdfs文件中调试如下的java虚拟机的运行参数: HADOOP_OPTS=”-Xdebug -Xrunjdwp:transport=dt_socket,add原创 2015-09-19 18:38:37 · 516 阅读 · 0 评论 -
hadoop编译
今天编译hadoop,碰到了一个错误。即在hadoop-common中编译错误。 src/xsl/default.xsl 解决办法(当然,这应该还不算解决): 1.自己编译findbugs 2. 编译时候去掉docs $ mvn package -Pdist,native,src -DskipTests -Dtar 好吧,我服了,原来是网络的问题。多试几次就好了。和maven和ant原创 2015-10-26 20:15:47 · 372 阅读 · 0 评论