![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
我是A_lin呀
勤于思,敏于行,善于言。
展开
-
hadoop 启动不了datanode ulimit -a for user root
启动hdfs datanode启动日志输出[root@linux128 hadoop]# cat /opt/lagou/servers/hadoop-2.9.2/logs/hadoop-root-datanode-linux128.outulimit -a for user rootcore file size (blocks, -c) 0data seg size (kbytes, -d) unlimitedscheduling priority .原创 2020-07-25 16:16:29 · 2805 阅读 · 2 评论 -
hadoop报错:Operation category READ is not supported in state standby
执行hadoop fs -ls / 报错:[root@hadoop01 bin]# hadoop fs -ls /19/02/14 00:09:19 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where a...原创 2019-02-14 21:18:13 · 1512 阅读 · 0 评论 -
hadoop namenode格式化失败
执行hadoop namenode -format格式化命令后,报错:Call From hadoop01/192.168.195.134 to hadoop02:8485 failed on connection exception: java.net.Connectxception: 拒绝连接;详细日志:19/02/16 12:29:51 INFO namenode.NameNo...原创 2019-02-16 15:11:55 · 4433 阅读 · 0 评论 -
big_env环境变量配置
#!/bin/bashexport HIVE_HOME=/home/software/apache-hive-1.2.0-binexport PATH=$HIVE_HOME/bin:$PATH 可将大数据组件的相关home目录配置在里面.每次新打开一个ssh连接都需要source big_env , 使环境变量生效....原创 2019-02-16 21:26:42 · 200 阅读 · 0 评论 -
多次格式化namenode出现的问题
删除hadoop的tmp目录下的所有内容,重新格式化namenode,启动hadoop集群,发现只能启动其中一个namenode。在未启动成功的节点下,使用 hadoop-daemon.sh start namenode 启动,发现还是启动不了.查看namenode的日志,显示namenode没有格式化,当时就懵了,我明明就格式化了呀,于是打算再来一次,这次我在配置的nn1和nn2的两个...原创 2019-02-17 18:05:17 · 5624 阅读 · 0 评论 -
如何在本地启动集群其他机器上的服务
在自己的学习环境中,每次重新开启虚拟机,都要去每个节点上一条一条的手动执行指令,感觉很烦,于是就想到如何用脚本的方式来达到一键启动所有服务的初衷,最大的问题就是如何在一个节点上控制其他的节点.startAll.sh#!/bin/bash#clear #清屏for ip in hadoop01 hadoop02 hadoop03do echo "***************...原创 2019-02-24 14:32:55 · 398 阅读 · 0 评论 -
强制退出hadoop安全模式
[root@hadoop03 sbin]# hadoop fs -mkdir /directory19/03/22 21:55:09 WARN retry.RetryInvocationHandler: Exception while invoking class org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslato...原创 2019-03-22 22:03:18 · 1489 阅读 · 1 评论