tsaideng-CSDN博客

原创 copyToLocalFile报错：(null) entry in command string: null chmod 0644

通过java代码测试hdfs文件上传Exception in thread "main" java.io.IOException: (null) entry in command string: null chmod 0644 G:\artifacts3.xml修改代码如下：

2019-12-23 22:59:22 247

原创 hadoop Application 里面打不开Node和Logs

hadoop查询logs的时候，点击Logs打不开，http://hadoop02:8042/node/containerlogs/container_1576407055936_0003_01_000001/root。然后经过查询资料，了解到是因为我们这里用了主机名，所以打开不了，需要在window上面设置才可以。解决方法：在C:\Windows\System32\drivers\etc 下...

2019-12-15 12:05:16 1073

原创 Zookeeper启动显示成功，zkServer.sh status报错 Error contacting service. It is probably not running.

这个问题搞了我一个晚上和一个早上，终于解决了。大大的坑啊，希望大家引以为戒。首先呢，这个我第一次配置后测试是没有问题的，但后来关机重启后，发现以下问题。JPS查看QuorumPeerMain启动成功，但用zkServer.sh status查看，发现以下错误。于是就上网搜索了很多案例，说什么把dataDir=/home/zkdata/ folder下面的除了myid都删除掉，还有关闭防火墙，ki...

2019-12-10 08:56:53 994 1

原创 HA hadoop不能上传到hdfs，遇到WARN hdfs.DFSClient: DataStreamer Exception

案例：在准备put一个file到 hdfs的时候，遇到以下错误。[root@hadoop01 current]# hdfs dfs -put /home/words /19/12/05 15:49:14 WARN hdfs.DFSClient: DataStreamer Exceptionorg.apache.hadoop.ipc.RemoteException(java.io.IOExc...

2019-12-07 23:28:21 1753

原创 HA Yarn 启动 resourcemanager 闪退

执行命令start-yarn.sh 和 yarn-daemon.sh start resourcemanager，发现resourcemanager启动不了。然后查询log，发现原来是配置文件有错误。错误配置：<property> <name>yarn.resourcemanager.zk.address</name> <value>h...

2019-12-07 18:36:54 1202

转载【转】zookeeper自定义日志输出目录

2019-12-04 17:41:28 176

原创 hadoop ssh免密登录

hosts的设置如下[root@hadoop01 hadoop-2.7.7]# vi /etc/hosts127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4::1 localhost localhost.localdomain localhost6 localhost6...

2019-09-29 16:18:20 441

原创 hadoop 如何永久性关闭防火墙

用这个命令就可以了chkconfig iptables off[root@hadoop01 hadoop-2.7.7]# chkconfig iptables --listiptables 0:off 1:off 2:on 3:on 4:on 5:on 6:off[root@hadoop01 hadoop-2.7.7]# cat /etc/inittab # inittab...

2019-09-29 14:50:58 1728

原创如何解决 java.io.IOException: Got error, status message , ack with firstBadLink

当我们遇到以下问题的时候，我们可以在对应的集群服务器那里关闭相应的防火墙。[root@hadoop01 hadoop-2.7.7]# hdfs dfs -put ./README.txt /19/09/29 18:47:11 INFO hdfs.DFSClient: Exception in createBlockOutputStreamjava.io.IOException: Got er...

2019-09-29 11:23:45 6210 3

原创查看hadoop web ui监控有问题 xxxx:50070/dfshealth.html

如果输入发现打不开 http://192.168.216.111:50070/输入以下命令就可以了。service iptables stop

2019-09-28 17:26:51 1493

转载执行start-dfs.sh后，datenode没有启动的解决办法

执行start-dfs.sh后，datenode没有启动，很大一部分原因是因为在第一次格式化dfs后，启动并使用了hadoop，后来又重新执行了格式化命令（hdfs namenode -format)，这时主节点namenode的clusterID会重新生成，而从节点datanode的clusterID 保持不变导致的。解决方案（一）：在hdfs-site.xml文件下找到这两个文件路径，打...

2019-09-28 17:01:17 887

john_deng2的博客