hadoop节点中不关闭防火墙体验

最新推荐文章于 2024-05-17 20:33:06 发布
最新推荐文章于 2024-05-17 20:33:06 发布
阅读量4.3k 收藏
点赞数 1
分类专栏： hadoop 文章标签： 防火墙 hadoop 脚本 web
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chenyi8888/article/details/8002542
版权

最近新增节点后，导致相关运行程序出现异常。

检查下来发现，一个很简单的问题导致，有一个节点运维人员忘记关闭防火墙了。

如果不关闭防火墙，有以下几种情况出现：

第一：hdfs的web管理页面，打不开该节点的文件浏览页面

第二：后台运行脚本（HIVE的），会出现莫名其妙的假死状态

第三：在删除和增加节点的时候，会让数据迁移处理时间更长，甚至不能正常完成相关操作

第四：不管你做任何操作，都是会运行不正常，而且很不顺手



fish_cool
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop cluster（第二篇）关闭防火墙问题
HereIcome的博客
03-15 4318
参考链接：1、http://blog.csdn.net/zhxdick/article/details/51942405（Hadoop集群搭建）2、http://blog.csdn.net/u011831754/article/details/53402479（Hadoop集群搭建）3、http://blog.csdn.net/duan_zhihua/article/details/4839907...
hadoop安装为什么需要关闭防火墙
weixin_34348805的博客
11-17 2436
1 hadoop搭建无论是伪分布式还是集群，都要关闭防火墙，关闭原因是什么？ 集群其实现在没什么安全性考虑的因为都是内网搭建的，对外还有一个服务器的，那个服务器有防火墙，由它来访问内网集群，如果内网内开启防火墙，内网集群通讯会出现很多问题。 在部署hadoop时，好多资料上都写了要关闭防火墙，如果不关闭可能出现节点间无法通信的情况，于是大家也都这样做了，因此集群通信正常。当然集群一般是处于...
Hadoop集群的相关搭建和配置
最新发布
keen18的博客
05-17 1557
Hadoop集群的相关搭建和配置
Hadoop: 启动时一定要关闭防火墙或打开相应端口，否则可能会有部分地址无法访问
amadeus_liu2的博客
02-13 1000
在name结点和data结点分别进行
Hadoop集群搭建之关闭防火墙（一）
m0_67390969的博客
04-03 2424
一.前期准备(为了后期搭建Hadoop做准备) Hadoop需要三台虚拟机，所以要创建三台虚拟机，我将三台虚拟机分别命名为node1，node2，node3，IP分别是192.168.36.101，192.168.36.102，192.168.36.103。 还需要准备相对应的jdktar包和hadooptar包，我的tar包如下 二.关闭防火墙(单纯的关闭防火墙的话，只用看下方命令就可以；如果想搭建Hadoop集群，则需要看上一段的内容) 关闭防火墙其实很简单 systemctl status fire
6. Hadoop集群搭建 - 关闭防火墙 - 基于CentOS7 -【连载中】
Hadoop集群搭建详细教程
08-09 1180
续上一篇文章：5. Hadoop集群搭建-免密互通配置 | 更改主机名-基于CentOS7-【连载中】 说明 关闭防火墙为最为保险的方法，若不关闭防火墙则三台主机不能通信（端口未开放） 目录说明正文防火墙命令 正文 以防下次重启后忘记关闭防火墙，我们将其设置为开机不自动启动 关闭防火墙： systemctl stop firewalld 停止开机启动防火墙： systemctl disable firewalld 防火墙命令 启动： systemctl start firewalld
Hadoop默认端口清单-防火墙申请使用
11-27
Hadoop默认端口清单，自己收集来用，需要开通防火墙的时候使用。
异构资源环境下Hadoop节点能力自适应调度算法
04-30
为了解决当前Hadoop集群在异构资源环境下固有的调度分配方法的不足，提出了一种基于节点能力的自适应调度算法NCAS（node capacity adaptive scheduling）。首先，NCAS算法根据节点性能、任务特征计算得到调度因子；...
Hadoop集群datanode磁盘不均衡的解决方案
02-25
Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，比如集群中添加新的数据节点，节点与节点之间磁盘大小不一样等等。当hdfs出现不平衡状况的时候，将引发很多问题，比如MR程序无法很好地利用本地...
Hadoop动态新增节点
02-23
Hadoop动态新增节点
hadoop+hive三节点环境搭建
J的博客
07-05 5419
以下使用虚拟机搭建Hadoop+Hive环境 虚拟机：Oracle VirtualBox 操作系统：centos7.6 JDK：1.8.0_201 MySql： 5.7.25 Hadoop：hadoop-2.8.1 Hive：apache-hive-1.2.2-bin Hadoop集群为三个节点： 主节点hadoop1 192.168.18.171 从节点hadoop2 192.168.18.17...
Hadoop单机版本安装
wft111的博客
02-18 853
Hadoop单机版安装
1.7)hadoop学习之常见的错误以及解决方案
qq_614617158的博客
08-18 689
1）防火墙没关闭、或者没有启动 YARN INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032 2）主机名称配置错误 3）IP 地址配置错误 4）ssh 没有配置好 5）root 用户和 atguigu 两个用户启动集群不统一 6）配置文件修改不细心 7）不识别主机名称 java.net.UnknownHostException: hadoop102: hadoop102 at java.n
搭建Hadoop集群环境，安装jdk，环境配置，免密登录，关闭防火墙
qq_49096000的博客
11-13 1450
其中，rsa表示加密算法，键入上面一条命令后连续敲击三次回车键，系统会自动在~/.ssh目录下生成公钥（id_rsa.pub）和私钥（id_rsa），可通过命令。查看，认证文件authorized_keys已经生成。可以通过cat命令查看authorized_keys内容是否包含有id_rsa.pub的内容。我们以本机登录本机自己为例（连接本机），将公钥追加到~/.ssh/authorized_keys文件中。修改host (四台虚拟机都要修改)安装完成后，关机，进行快照备份。做完后可以进行关机，快照。
HDFS完全分布式集群搭建与配置及常见问题总结（上）
zhaottttt的博客
09-15 1285
本篇描述关于HDFS完全分布式集群的搭建与配置相关步骤，还有一些常见问题，供大家参考。
Hdfs完全分布式集群搭建与配置及常见问题总结
qq_56740631的博客
09-16 1062
分布式文件系统的产生是解决传统文件系统容量和吞吐量的限制的问题多用户多应用的并行读写的思想 分布式文件系统是基于Master/Slave规式，通常一个分布式文件系统提供多个用户访问的服务器 分布式文件系统管理的物理资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连 分布式文件系统一般都会基于操作系统的本地文件系统 分布式文件系统一般都会提供备份和容错的功能 扩充存储空间的成本低廉 为分布式计算提供基础
hadoop的HDFS-----防火墙导致9870端口无法访问
半岛铁盒的博客
12-08 3330
常规问题原因是防火墙未关闭或者使用的是传统的Edge浏览器 解决方法则是:关闭虚拟机的其它节点的所有防火墙,并使用谷歌浏览器; 记录一下防火墙的解决方法 systemctl status firewalld 查看防火墙的运行状态; 可以看出这里的防火墙的状态是开启着的,导致我无法访问9870的端口; 而别的节点的防火墙的状态是关闭着的; 只需关闭上面的那一个防火墙即可; 关闭防火墙 systemctl stop firewalld 禁止开机的时候启动防火墙 systemctl disable fire
Hadoop-关闭防火墙
Ficus的博客
09-18 2610
Hadoop-关闭防火墙 在防火墙中开放端口80和端口22的方法 $ /sbin/iptables -I INPUT -p tcp --dport 80 -j ACCEPT $ /sbin/iptables -I INPUT -p tcp --dport 22 -j ACCEPT $ /etc/rc.d/init.d/iptables save 重启计算机后，防火墙默认已经开放了80和22两个端口。 临时性的完全关闭防火墙，可以不重启机器 $ /etc/init.d/iptables status #
hadoop中关闭防火墙
04-18
在Hadoop中关闭防火墙可以通过以下步骤进行操作： 1. 登录到Hadoop集群的主节点或管理节点。 2. 打开终端或命令行窗口，使用root或具有管理员权限的用户登录。 3. 停止防火墙服务。根据不同的Linux发行版，可以使用...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值