hadoop
yanhe156
这个作者很懒,什么都没留下…
展开
-
ssh免密码登录root用户
ssh 免密码登录root用户ubuntu 16.04 LTS遇到这个问题是在使用start-all.sh启动hadoop时,提示没有权限执行mkdir等命令,于是使用 sudo ./shart-all.sh 启动,提示要输入要远程连接的主机上的root账户密码。之后意识到我之前实在hadoop账户下设置的ssh免密码登录,能够免密码登录到不同的主机上的hadoop账户,但是不能登录到其...原创 2018-03-22 14:12:19 · 6156 阅读 · 0 评论 -
Hadoop 中的名词
yarn : Hadoop 2.0 中的资源管理系统。总体上也是master/slave 结构,ResourceManager是master,NodeManager是slave。 Resourcemanager负责对各个NodeManager上资源进行统一管理和调度。当用户提交一个应用程序时,需要提供一个用以跟踪和管理这个程序的ApplicationMaster,它负责向ResourceMan...原创 2018-04-09 14:15:55 · 364 阅读 · 0 评论 -
hadoop streaming 调试
写好程序后,可以利用管道符在本地调试在集群上调试时,可以将cat作为mapper或reducer,以查看其他部分的功能原创 2018-05-04 02:34:34 · 561 阅读 · 0 评论 -
HIPI的使用
使用的是最新版的github版本,2年前已经停止更新了。 1. 使用 tools/hibImport.sh 这个脚本将图像打包为hib文件时需要先启动hadoop。 2. 生成的hib文件自动上传到了hdfs,执行hibInfo.sh 操作的也是hdfs上的文件...原创 2018-05-26 17:51:12 · 1665 阅读 · 0 评论 -
hadoop中使用jni
前面在linux单机下测试了jni,Linux下JNI使用。在Hadoop上用jni主要有一个问题,就是动态链接库的路径,可以参考https://blog.csdn.net/xceman1997/article/details/8261969...原创 2018-06-03 09:47:23 · 298 阅读 · 0 评论 -
hadoop中找不到usrelog
1 发现执行完任务之后,usarlog目录下没有该job的log,后来发现是因为我之前在yarn-site.xml中配置了日志聚合功能,执行完任务之后,日志被上传到了hdfs/tmp/logs/root目录下。。。 2 虽然配置了jobhistory,但是发现它好像并不会把每个节点下的log融合,所有我在historyserver里看到的stdout为空,因为它只打开了一个节点下的stdout,...原创 2018-05-27 15:20:08 · 218 阅读 · 0 评论