大数据学习之hadoop——07阿里云服务器搭建集群以及遇到的问题&解决办法

最新推荐文章于 2024-05-07 23:41:48 发布
最新推荐文章于 2024-05-07 23:41:48 发布
阅读量539 收藏 1
点赞数
分类专栏： 大数据学习之hadoop 文章标签： hadoop linux 大数据 阿里云 网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nothair/article/details/104931833
版权
本文详述了在阿里云服务器上搭建Hadoop伪分布集群的全过程，包括购买服务器、设置Linux密码、解决MobaXtem连接问题、配置集群、开放端口以及访问Web界面等步骤，并分享了解决遇到的各种问题的方法。
摘要由CSDN通过智能技术生成

在这段服务器搭建伪分布集群中我遇到了如下问题
1、进入远程连接界面却不知道密码
2、使用MobaXtem工具连接服务器失败
3、集群格式化失败
4、web访问失败
按照下面的所有步骤操作。以上的问题都会迎刃而解~

一、购买,使用服务器

  • 阿里云活动购买链接： 阿里云学生机：云翼计划
  • 进入页面领取20元的优惠券，购买默认的114块的推荐就ok，记得系统要选择linux6.x的版本，后续博客可能和高版本不兼容，代金券在结算界面生效的

在这里插入图片描述在这里插入图片描述

  • 购买完成之后点击最上方用户名旁边的控制台选项，在最左边的菜单栏里点击云服务器ECS之后会出现如下界面
    在这里插入图片描述
  • 点击你自己的服务器（蓝色链接）之后会出现该服务器的详情，在该页面重置该虚拟机的密码
最低0.47元/天 解锁文章
上苍保佑吃饱饭的人们
关注
专栏目录
阿里云服务器部署安装hadoop与elasticsearch踩坑笔记
upward
09-13 1155
阿里云服务器部署hadoop与elasticsearch踩坑
【服务器】（二）阿里云ECS上搭建Hadoop集群环境——设置(真分布式)Hadoop安装【图文附资源】（双系统通用）
系'辞的博客
03-20 515
鸣谢——主要参考： 1. 两台配置CentOS 7.3的阿里云ECS服务器 2.使用两台ECS服务器搭建“Cluster mode”的Hadoop集群环境 正文开始，前置环节： 一、【服务器】阿里云ECS上搭建Hadoop集群环境——设置免密码ssh登陆 二、【阿里云】Ubuntu系统安装大数据环境jdk1.7.0 Hadoop(伪分布式)集群环境搭建： 【注】：无特殊说明时，三台机器的操作是一致的。 【注】：无特殊说明时，三台机器的操作是一致的。 【注】：无特殊说明时，三台机器的操作是一致的。 1. 系
阿里云大数据Hadoop集群搭建全网最新教程
04-20
有需要linux的在评论区说一下
3台阿里云ECS安装CDH大数据集群过程（CentOS7.4+独立数据盘）
weixin_33881041的博客
07-19 926
为什么80%的码农都做不了架构师？>>> ...
阿里云ECS服务器Centos7.6环境下部署CDH6.1.大数据集群
luoye4321的专栏
05-10 1834
阿里云购买同一地区下的三台服务器，操作系统为Centos7.6，内网地址分别是172.17.58.37 ，172.17.58.38， 172.17.58.39，对应的节点分别为node1,node2,node3,node1为主机。部署CDH6.1.0,详细部署过程如下： 一、基础环境配置（全部节点） 1、修改主机名 #hostnamectl set-hostname node1 #vi /...
阿里云搭建Hadoop集群
JasonWang的博客
10-15 5268
这篇blog主要是讲如何搭建Hadoop集群，是继我上一篇手把手教你如何使用阿里云搭建Hadoop环境 环境下进行的，如果你还没看过上一篇blog，建议你先看一下如何搭建Hadoop环境，在继续往下看。如果你已经在自己的服务器上搭建好hadoop环境，那么集群相对环境的配置来说要简单的多，下面就开始搭建集群。 准备工作 两台服务器，一台做master，一台做worker，worker
阿里云部署hadoop集群
铁血军的小博客
05-23 1105
题记： 好记性不如烂笔头。搞一个稳定的hadoop部署方式，给以后的人生省点打游戏的时间。 环境介绍 两台阿里云服务器server1,server2,还有一台华为云服务器。 准备 将两台阿里云服务器器分别记为：master,slave1;将华为云服务器记为slave2。 masterip,masterip_分别表示master的公网ip和内网ip； slave1ip表示slave1的公网ip; slave2ip表示slave2的公网ip; 第一步：服务器间ssh无密码登录 1.1 更改/etc/hosts文
阿里云服务器搭建Hadoop集群
Alanyungz的博客
04-16 1504
这里写目录标题一、环境介绍二、修改hosts、hostname文件三、ssh互信四、安装java(只需在master操作，配置后再发送到slave机器)五、安装并配置Hadoop六、阿里云踩过的坑 一、环境介绍 服务器：一台阿里云服务器master，一台腾讯云服务器slave 操作系统：centOS7 Hadoop：hadoop-2.7.7.tar.gz Java：jdk-8u172-linux-...
大数据-Hadoop-云服务器的搭建
weixin_45532984的博客
03-22 5888
一. 云服务器的购买及其设置 1. 服务器的选择及购买 2. 配置安全组规则（开放端口） 3. xshell登录，无密登录，密钥设置 二. Hadoop及JDK安装 1. Hadoop以及JDK版本选择 2. Hadoop以及JDK上传云端 3. scp命令, sync命令以及集群分发脚本xsync 4. 添加环境变量 5. 安装完成后的校验 三. Hadoop配置文件 1. core-site.xml 2. hdfs-site.xml 3. yarn-site.xml 4. m
【服务器】（八）阿里云ECS上搭建Hadoopd集群环境——IDEA2020版远程连接阿里云hdfs【图文及问题解析】(Ubuntu)
系'辞的博客
04-30 728
鸣谢——核心参考 1. 阿里云服务器ping不通解决办法（云服务器搭建完环境访问不了ip解决办法） 一、阿里云操作 二、IDEA操作 1. 设置Mysql连接 2. 查看所有mysql表，下列操作后，再点击“schemas”就可以了 3.配置SSh远程连接 【结果】： ...
阿里云环境下搭建HadoopHA集群
weixin_44825085的博客
08-12 2121
阿里云环境下搭建HadoopHA集群 1. HadoopHA介绍 1.1 hadoop高可用集群的简介 ​ hadoop是一个海量数据存储和计算的平台，能够存储PB级以上的数据，并且利用MapReduce可以对这些数据进行并发式计算；hadoop平台采用的是主从式架构（master/slave）即一个master和若干个slave，这个master就是namenode节点，该节点负责存储和管理元数据、配置副本策略、管理数据块的映射信息以及处理客服端的读写请求，由此可见namenode节点的压力还是比较大；
阿里云Hadoop集群部署(1)--机器购买/配置
huonan_123的博客
11-26 842
aliyun(阿里云)集群部署
阿里云搭建hadoop集群学习记录
V_YES_ME的博客
12-11 183
背景 按照阿里云搭建hadoop集群时，发现hadoopUI页面访问不到，在后台查看部署启动都没有问题，hdfs也可以上传文件以及获取文件。 解决方法 1 在/etc/hosts文件中定义内网ip与自己的域名对应。类似如下图： 2 在hadoop的配置文件中，将所有涉及地址的，改成自定义的域名。 3 配置完成后，需要在阿里云，设置自己定义的域名 4 在安全组设置你需要对外开放的接口，可以提交。 5 打开hadoopUI界面成功 ...
使用阿里云服务器搭建Hadoop分布式集群注意事项
Clearlove灬Star
04-03 646
小编以前在学习Hadoop时使用了两台阿里云服务器搭建了一个分布式集群，今天就来总结一下在阿里云上搭建集群与普通方式（n台电脑）的区别即注意事项！ 1./etc/hostname必须改，master改为master，slave1改为slave1等等。 2./etc/hosts中原来的内容全部删除，然后加入namenode和datanode的ＩＰ以及名字；特别注意，master中的hosts中的ma...
大数据项目实战之阿里云服务器
叁木大数据
12-08 1088
阿里云服务器购买全流程 最近想把之前的数仓项目从0-1走一遍，思考了一番后准备买三台阿里云的服务器去实现下对应的流程。具体落地流程如下！ 一、注册阿里云账号 阿里云网址为：https://cn.aliyun.com/，注册账号并登录。 二、购买ECS云服务器 1） 进入控制台 2）打开侧边栏，点击云服务器ECS 3）侧边栏点击实例，然后点击创建实例 4）选择计费方式=》穷人模式按量付费、服务器区域 5）选定服务器配置 6）选定服务器系统 7）选定磁盘类型及大小，基本这一步就完成了然后点击"下一
阿里云Hadoop集群部署(2)-配置多台机器互信认
huonan_123的博客
11-26 417
阿里云Hadoop集群部署-配置多台机器的互信认
阿里云ECS上搭建Hadoop分布式环境（会更新）
最新发布
weixin_41192058的博客
05-07 2464
访问→ 注册登录账号→找到上述访问界面中的（位置如图所示）→点击下载→下载完成后，查阅本机下载位置（接下来会需要）在机房电脑，文件系统访问\\PC-008\BC，将jre-8u261-linux-x64.tar.gz文件拷贝到自己电脑中。
阿里云服务器ECS部署Hadoop集群经验分享
qq_27726539的博客
04-13 281
一、配置安全组 首先，要配置安全组。阿里云默认出方向全部开启，入方向关闭。可以通过优先级，端口等设置常用端口如3306、50070、8088、8032等对集群另外的主机开放，也可设置对集群另外主机开放全部端口，一劳永逸。 我自己刚申请到了云主机一周左右，就发生了入侵事件。后来仔细删了恶意脚本，还是反反复复。建议把优先级1设置为禁止一些ip的访问，有备无患。 二、集群主机hosts文件 我的是三台...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值