使用阿里云+百度云+华为云服务器搭建hadoop集群执行测试任务报错

最新推荐文章于 2024-04-19 11:03:00 发布
最新推荐文章于 2024-04-19 11:03:00 发布
阅读量910 收藏 1
点赞数
分类专栏： 大数据 文章标签： hadoop集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43578105/article/details/84107600
版权

使用阿里云+百度云+华为云搭建的hadoop集群执行测试任务报错
信息如下
两台华为云节点报错

集群为 1台阿里云 + 2台华为云 + 1台百度云 共4台服务器，上传文件时速度就特别慢
在执行测试任务时 有两个节点直接报IO错误 ，观察发现 报错的是两台华为云服务器，百度云和阿里云的可以正常访问（阿里云为master）

下面附datanode节点信息，红色标出的是两台华为云的机器

datanode节点

搭建集群时还是尽量用同一家的服务器吧

weixin_43578105
关注
专栏目录
用三台云服务器搭建hadoop完全分布式集群
qq_41249840的博客
05-15 1608
公司用的hadoop服务器是redhat系统的,不熟悉,所以自己利用休息时间,找以前公司同事借来两台云服务器搭建了hadoop集群. 首先集群的三个台机器分别是: master 主机 node1 node2 1.首先修改主机名称: [root@centos7 ~]# hostnamectl set-hostname master 输入 : exec bash 2.修改hosts文件...
Centos7 zookeeper3.5.6 + hadoop3.2.1+Hbase2.2.2完全分布式+高可用（HA）图文教程
gdeasy的博客
11-19 6051
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Ma...
华为云Centos7搭建hadoop集群一：云服务器准备
m0_46444724的博客
01-26 1509
华为云Centos7搭建hadoop集群
四台华为云ECS上搭建hadoop
weixin_46155444的博客
01-09 1490
虚拟机准备 修改主机名 连接服务器后修改主机名 hostnamectl set-hostname 主机名 bash 分发脚本 #1. scp（secure copy）安全拷贝 （1）scp定义： scp可以实现服务器与服务器之间的数据拷贝。（from server1 to server2） （2）基本语法 scp -r $pdir/$fname $user@hadoop$host:$pdir/$fname 命令 递归 要拷贝的文件路径/名称 目的用户@主机:目的
华为云 和 阿里云 跨服务器搭建Hadoop集群
微信公众号: 后端码匠
04-01 1359
后端码匠 Hadoop开发环境搭建 CentOS6 7 8更换阿里yum源 阿里云Linux安装镜像源地址：http://mirrors.aliyun.com 配置方法： 1.备份 mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup 2.下载 新的CentOS-Base.repo到/etc/yum.repos.d CentOS 6 wget -O /etc/yum.repos.d/CentOS-Bas
平台环境部署的相关大数据
m0_64313187的博客
11-25 241
本文利用云服务器对大数据平台进行环境部署，包含：服务器使用、环境准备、Hadoop集群完全分布式安装、Zookeeper集群完全分布式安装、HBase完全分布式安装、Hive、Scala、Spark、Sqoop、Flume的安装。如有错误还望指出。 目录 一、服务器使用 二、环境准备 三、Hadoop3.1.1 集群环境安装 四、Zookeeper 集群安装部署 五、Hbase 完全分布式安装 六、Hive安装 七、Scala安装 八、Spark安装 九、Sqoop安装 十、flume
黑马2021最新版 SpringCloud基础篇全技术栈导学（RabbitMQ+Docker+Redis+搜索+分布式）
m0_67402026的博客
07-30 1625
也是使用的Ribbon，下面一个例子将Nacos配置成同集群优先的负载均衡策略默认的并不能实现根据同集群优先来实现负载均衡。Nacos中提供了一个NacosRule的实现，可以优先从同集群中挑选实例。1）给order-service配置集群信息springcloudnacoslocalhost8848discoveryHZ#集群名称2）修改负载均衡规则ribboncom.alibaba.cloud.nacos.ribbon.NacosRule#负载均衡规则。...
怎么样可以进行平台环境部署
m0_63984008的博客
11-23 543
大数据学习--平台环境部署（详细） 本文利用云服务器对大数据平台进行环境部署，包含：服务器使用、环境准备、Hadoop集群完全分布式安装、Zookeeper集群完全分布式安装、HBase完全分布式安装、Hive、Scala、Spark、Sqoop、Flume的安装。如有错误还望指出。 目录 一、服务器使用 二、环境准备 三、Hadoop3.1.1 集群环境安装 四、Zookeeper 集群安装部署 五、Hbase 完全分布式安装 六、Hive安装 七、Scala安装 八、Spark安装
大数据技术之高频面试题
XIAOMO__的博客
11-12 9018
第一章 项目涉及技术 1.1Linux&Shell 1.1.1 Linux常用高级命令 序号 命令 命令解释 1 top 查看内存 2 df -h 查看磁盘存储情况 3 iotop 查看磁盘IO读写(yum install iotop安装） .
华为云搭建hadoop大数据平台不能通过http://xx.xx.xx.xx:50070/ 访问hadoop页面
qq_44982182的博客
05-28 545
华为云搭建hadoop大数据平台不能通过http://xx.xx.xx.xx:50070/ 访问hadoop页面华为云服务器在网页里面访问web界面时需要华为云【安全组】开放所需端口，50070端口！操作如下点击 20 之后，点击 添加规则 ，注意是添加入口规则 ，在左侧添加 你要开放的端口号即可，比如我要开放的端口是 50070 我就填这个，然后点击 确定 即可 如下图： 华为云服务器在网页里面访问web界面时需要华为云【安全组】开放所需端口，50070端口！ 操作如下 华为云服务器在网页里面访问web界
服务器搭建Hadoop(这里我用的是阿里云)
qq_41848129的博客
06-24 437
在阿里云搭建Hadoop，其实大部分都和在本地搭建Hadoop一样pick一下 修改以下几个内容: 1.在配置文件core-site.xml 2.在服务器的/ect/hosts文件里面： 3.在本机的hosts也要添:C:\Windows\System32\drivers\etc 这里只需要添外网的ip 4.最后就是在阿里云添加安全组 50010/50075...
华为云集群部署踩坑指南。
qq_39662852的博客
09-10 1316
玩数据就要天天和服务器各种集群打交道，对于Linux一窍不通的我真的，我太难了。之前的测试用的集群挂了之后要切换到其他集群上，公司买的华为云，然后就开始了新的踩坑之路。 1 提申请 首先我们用任何环境都要去提申请了啦，提了申请才会分配资源，账号之类的。 2 hadoop集群使用指南 1）客户端IP 用户名 密码，在Xshell客户端里打开一个session进行连接。 连接好之后，在客户端...
云服务器（阿里云，百度云，华为云，腾讯云）搭建Hadoop（Nameode，SecondaryNamenode，datanode）
bay233的博客
12-30 1853
写这篇文章是为了记录我自己在云平台上学习安装的过程，希望能为其他的同学提供一点帮助： 服务器类型 这里我使用的服务器有： node1 阿里云（学生机）Ubuntu （NameNode） node2 百度云（学生机）CentOs （SecondaryNamenode，datanode） node3 华为云（学生机）CentOs （datanode） node4 腾讯云（学生机）CentOs...
阿里云服务器搭建Hadoop集群
Alanyungz的博客
04-16 1504
这里写目录标题一、环境介绍二、修改hosts、hostname文件三、ssh互信四、安装java(只需在master操作，配置后再发送到slave机器)五、安装并配置Hadoop六、阿里云踩过的坑 一、环境介绍 服务器：一台阿里云服务器master，一台腾讯云服务器slave 操作系统：centOS7 Hadoop：hadoop-2.7.7.tar.gz Java：jdk-8u172-linux-...
Zookeeper集群(阿里云+百度云+腾讯云)
weixin_43486804的博客
07-02 550
我有3个服务器,分别是阿里云,百度云,和腾讯云 首先保证linux有java环境,然后下载zookeeper,3个服务器分别解压 修改服务器配置文件 注意,本服务器用0.0.0.0代替,不能使用外网ip tickTime=2000 initLimit=10 syncLimit=5 dataDir=/tmp/zookeeper clientPort=2181 server.0=0.0.0.0:2888:3888 server.1=49.232.72.209:2888:3888 server.2=106.13.
华为云Hadoop与Spark集群环境搭建
longmao_a的博客
11-09 6408
华为云Hadoop与Spark平台搭建Hadoop2.7.1环境搭建1. 购买华为云服务器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 所使用安装包 JDK8 Hadoop2.7.1 Spark3.2.0 Hadoo
小白第一次部署华为云k8s集群通过helm安装redis
最新发布
m0_46159772的博客
04-19 1195
1.连接node1节点华为节点管理查看001节点的公网IP，本地使用Xshell连接；安装home目录 cd /home2.安装Helm安装完后可以使用查看版本。
阿里云服务器搭建hadoop（单机）
weixin_54668083的博客
10-19 2020
在esc上搭建hadoop（单机）
华为云如何搭建Hadoop集群
04-24
华为云搭建 Hadoop 集群的步骤如下： 1. 登录华为云（https://www.huaweicloud.com/），进入控制台页面。 2. 在控制台页面中，找到“大数据”板块，并点击下拉菜单中的“Hadoop”选项。 3. 在“Hadoop”页面中，选择“集群管理” - “创建集群”。 4. 在“创建集群”页面中，填写集群的名称、节点数量、版本号等基本信息。 5. 配置节点信息，包括节点角色、节点数量、节点规格、SSH 密码等。 6. 配置网络信息，设置虚拟私有云（VPC）、子网、安全组等。 7. 配置存储信息，选择存储类型、存储大小等。 8. 验证信息和计费方式，确认无误后提交创建。 经过以上步骤，就可以成功搭建 Hadoop 集群，开始进行大数据计算和分析了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值