Hadoop
一些关于Hadoop的心得分享
S1901
山东这块大数据找不到啥理想工作,转测试啦。有事V联系S19811730576
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
hadoop集群配置ssh免密
在3台机器上执行产生自己的公钥: ssh-keygen -t rsa 按照默认值回车确定(如果询问是否overwirte,输入y覆盖掉原来的公钥即可) 将每台机器的公钥拷贝给每台机器,注意下面的指令要求3台机器都要执行: ssh-copy-id node01 ssh-copy-id node02 ssh-copy-id node03 ......原创 2022-01-06 19:10:12 · 2812 阅读 · 0 评论 -
scp 远程拷贝文件提示:Permission denied, please try again. 的解决办法
我在主机master上远程拷贝 filename 文件到 slave1主机上,出现下面的错误提示: qiao@master:~$ scp /etc/filename root@slave2:/etc/ root@slave2’s password: Permission denied, please try again. 解决方法如下: 使用指令tail /var/log/secure -n 20查看系统的日志文件: 发现问题的所在:Authentication refused: bad owners原创 2022-01-06 19:00:55 · 4859 阅读 · 0 评论 -
集群配置ssh免密,仍需要密码
今天在root用户下启动hadoop集群时,提示输入密码。但是我在普通用户下启动集群不需要密码。经过查询,使用指令tail /var/log/secure -n 20查看系统的日志文件: 发现问题的所在:Authentication refused: bad ownership or modes for file 目录的属主和权限配置不当,查找资料得知:SSH不希望home目录和~/.ssh目录对组有写权限,通过下面命令修改权限: chmod 7555 /root 修改后再配置一遍免密已经密钥分发,.原创 2022-01-06 18:58:01 · 1569 阅读 · 1 评论 -
hadoop常见问题 no datanode to stop
这篇文章比较好,记录一下。方便以后查找。 但是不管怎么样,重点还是要多看日志和报错信息! 现象:当停止Hadoop的时候发现no datanode to stop的信息。 原因1: 每次namenode format会重新创建一个namenodeId,而tmp/dfs/data下包含了上次format下的id,namenode format清空了namenode下的数据,但是没有清空datanode下的数据,导致启动时失败,所要做的就是每次fotmat前,清空tmp一下的所有目录。 这里有两种解决方案: 1转载 2021-11-12 11:03:26 · 2784 阅读 · 1 评论 -
ORG.APACHE.HADOOP.SECURITY.ACCESSCONTROLEXCEPTION: PERMISSION DENIED: USER=
参考:https://www.cnblogs.com/YouXiangLiThon/p/10345186.html 在 hdfs-site.xml 总添加参数: <property> <name>dfs.permissions.enabled</name> <value>false</value> </property> 然后重启hadoop集群,如果有配置好slave可以: stop-dfs.sh start-dfs原创 2021-10-15 21:15:39 · 470 阅读 · 0 评论 -
关于log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.Mutabl
参考:https://www.cnblogs.com/huxinga/p/6868074.html 五楼老哥的正解,成功解决了问题!(好评)原创 2021-10-15 20:54:50 · 751 阅读 · 0 评论
分享