腾讯云服务器安装hadoop踩坑记录

最新推荐文章于 2023-08-13 00:04:37 发布
最新推荐文章于 2023-08-13 00:04:37 发布
阅读量318 收藏 1
点赞数 1
文章标签： hadoop 服务器 腾讯云
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_49289485/article/details/124831864
版权

问题：只有hadoop web界面只有namenode一个主节点，datanode虽然在服务器端显示启动，但是没有在集群中存活，查看datanode日志显示如下

明显可以看到datanode节点一直在试图连接namenode，但是一直连接不上

查阅网上资料得知，腾讯云分为内外网，集群节点之间进行通信需要用外网，所以主节点上的hosts文件需要映射两个从节点的外网ip,两个从节点的hosts文件直接填写三个节点的外网ip

填写完hosts文件后一定要去腾讯云上将防火墙访问规则添加上！！！！

 另外，如果要访问hadoop的web页面也要去防火墙把对应的端口打开，设置方式和上面一样

柠檬树下的小马甲
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
3台云腾讯云开始hadoop学习之路
qq_29936607的博客
03-08 1638
hadoop集群学习笔记 ip 主机名 101.42.249.193 hadoop102 101.42.249.25 hadoop103 101.42.248.97 hadoop104 云服务器环境准备 0.修改主机名称 ```powershell [root@hadoop100 ~]# vim /etc/hostname hadoop102 1.**hadoop102虚拟机配置要求如下** - 安装epel-release 注：Extra Packages for E
腾讯云Hadoop安装及集群环境搭建完全分布式
SnotFroth的专栏
08-24 1637
腾讯云服务器搭建Hadoop
hadoop-腾讯云安装
Xiaoweidumpb
12-08 174
1.那个进程没启动看，相应的logs日记 2.将hosts 映射成内网地址 3.网卡的hostname 不会马上修改，需要重启网卡。
hadoop单机版腾讯云安装
weixin_42404341的博客
03-16 564
创建日期: 2019/03/14 17:40 创建人: yangyidong 腾讯云安装环境更改主机名创建hadoop用户安装jdk配置环境变量免密码ssh设置安装下载hadoop-2.7.7创建hdfs中namenode,datanode的存储位置配置环境变量配置Configuration文件启动hadoopjps查看一旦Hadoop集群启动并运行，请检查组件的web-ui成功登陆安装成功~h...
腾讯云搭hadoop集群
iTom's blog
05-17 674
Environment 腾讯学生云 CentOS 7.6，64 位 Non-distributed & Pseudo-distributed 这部分是在一部机上先搞搞环境，之后作为 master，包括非分布式和伪分布式的例程测试。有些配置步骤后面配 slave 的时候会有重复。 account 创建 hadoop 账户：useradd -m hadoop -s /bin/bash； 改密码为 hadoop：passwd hadoop，输入 hadoop； 赋 sudo 权限：visudo 打开
手把手教你在腾讯云上搭建hadoop3.x伪集群的方法
01-09
安装 创建文件夹 $ cd /home/centos $ mkdir software $ mkdir module 将安装包导入software文件夹 $ cd software # 然后把文件拖进去即可 这里使用的安装包是 /home/centos/software/hadoop-3.1.3.tar.gz /home/...
利用ansible 自动 安装Hadoop 集群
05-10
Hadoop作为大数据处理的核心组件，包括HDFS（Hadoop Distributed File System）和MapReduce等模块，构建一个Hadoop集群通常涉及多台服务器的配置、软件安装、服务启动和集群配置。通过Ansible，我们可以简化这个过程...
windows安装hadoop
01-07
Windows下配置Hadoop环境（全过程） 1、首先到官方下载官网的hadoop2.7.7,链接如下https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/ 2、下载对应版本都是hadooponwindows-master.zip  下载网址：...
在linux环境安装hadoop集群
03-16
安装 Hadoop 集群需要上传安装包到服务器，然后解压安装包并配置环境变量。在 Linux 系统中，使用 tar 命令解压安装包： ``` tar -zxvf hadoop-2.7.1.tar.gz ``` 然后，重命名安装文件夹并授权给 hadoop 用户： `...
1、腾讯云搭建Hadoop3集群
这里是Code猿学习的地方
11-22 595
1主机名和IP配置 1.1主机名 1.首先使用root用户名和root密码分别登录三台服务器 2.分别在三台虚拟机上执行命令: hostnamectl set-hostname node1 hostnamectl set-hostname node2 hostnamectl set-hostname node3 3.分别在三台服务器上执行logout 1.2 IP设置 systemctl rest...
腾讯云服务器搭建Hadoop
ECNU_sei_mfj的博客
03-27 403
2021.3.27 使用了四个云服务器 但是有三种系统 一种centos 一种 ubuntu 18.04 一种 ubuntu 20.04 但四个节点配置好java hadoop 之后，主节点没有namenode，删除tmp文件 重新初始化也不行，看日志也没有错误，不知什么原因 ...
在腾讯云下搭建Hadoop伪分布式模式
little white miao's blog
04-13 1283
安装包准备 JDK1.7.X安装包（64位） Hadoop2.6.0安装包（64位） 环境准备1.设置IP地址执行命令：service network restart 验证：ifconfig2.关闭防火墙执行命令：service iptables stop 验证：service iptables status3.关闭防火墙的自动运行执行命令：chkconfig iptables off 验证:
hadoop-2.6.4集群编译搭建-阿里云和腾讯云
i立志的专栏
07-31 3667
腾讯云阿里云 hadoop集群编译搭建环境准备阿里云配置：[hadoop@lizer_ali ~]$ uname -a Linux lizer_ali 2.6.32-573.22.1.el6.x86_64 #1 SMP Wed Mar 23 03:35:39 UTC 2016 x86_64 x86_64 x86_64 GNU/Linux [hadoop@lizer_ali ~]$ head -n
手把手教你在腾讯云上搭建hadoop3.x伪集群
axy_shelly的博客
07-02 1067
一、环境准备 CentOS Linux release 7.5.1804 (Core) 系统下 安装 创建文件夹 $ cd /home/centos $ mkdir software $ mkdir module 将安装包导入software文件夹 $ cd software # 然后把文件拖进去即可 这里使用的安装包是 /home/centos/software/hadoop-3.1.3.tar.gz /home/centos/software/jdk-8u212-linux-x64.tar.gz
腾讯云安装Hadoop遇到的问题
weixin_33862514的博客
05-08 127
1.能正常访问bincoding.cn:50030，不能连接到9000端口 Call to bincoding.cn/123.206.212.115:9000 failed on connection exception: java.net.ConnectException: Connection refused: no further information   解决方法：设置core-site...
腾讯云hadoop集群搭建步骤，namenode/datanode启动问题
精点之家
06-13 1709
腾讯云hadoop集群搭建步骤及注意的相关问题步骤： 防火墙处理/关闭防火墙【仅在服务器安全级别要求不高的环境下进行】 配置完全分布式hadoop集群 namenode/ datanode 启动问题 1. 防火墙处理最直接的方式，关闭防火墙，简单省事。当然这也是笔者本人作为新手处理服务器比较简单粗暴的方式。sudo ufw disable2. 配置完全分布式hadoop集群集群的搭建详细步骤可参见3
记录腾讯云上部署Hadoop3.2.3伪集群遇到的问题
weixin_47516125的博客
09-01 560
Hadoop伪集群部署腾讯云时遇到的问题
3台云腾讯云开始hadoop学习之路笔记二
qq_29936607的博客
03-08 1639
3台云腾讯云开始hadoop学习之路笔记二（接上） 大三党开始学习hadoop之路了，菜鸟学习hadoop，有啥错误请大佬指教。由于自己电脑配置不够，只能买3台腾讯云服务器来学习了。以下笔记都是记录我在某破站 尚硅谷学习的过程，开始笔记，加深记忆。 三台腾讯云的ip，主机名配置 ip 主机名 101.42.xxx.xx hadoop102 101.42.xxx.xx hadoop103 101.42.xxx.xx hadoop104 最终搭建效果 hadoop102
腾讯云搭建hadoop集群
m0_37689903的博客
08-13 255
本文主要介绍了在腾讯云中利用3台服务器搭建hadoop3.1.3集群环境，特别要注意在配置/etc/hosts的时候，当前节点内网ip和hostname映射，其余节点外网和对应的hostname映射
阿里云服务器下hadoop安装与配置
最新发布
10-11
阿里云服务器下Hadoop安装与配置步骤如下： 1. 安装Java环境： yum install java-1.8.0-openjdk-devel 2. 下载Hadoop安装包： wget ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值