centOS7实践安装hadoop2.10完全分布式环境搭建

最新推荐文章于 2023-08-13 23:23:20 发布
最新推荐文章于 2023-08-13 23:23:20 发布
阅读量675 收藏 1
点赞数
文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35444549/article/details/108137327
版权
本文详细介绍了在CentOS7系统中如何配置和搭建Hadoop2.10的完全分布式环境，包括安装VMware虚拟机、设置静态IP、关闭防火墙、配置SSH免密登录、安装JDK、解压并配置Hadoop、格式化NameNode以及启动集群。通过这些步骤，你可以成功地建立一个包含一台NameNode和四台DataNode的Hadoop集群，并能通过Web界面查看节点状态。
摘要由CSDN通过智能技术生成

一、安装VM虚拟机：VMware-workstation-full-15.5.6-16341506
二、新建CENTOS7虚拟机：安装过程略，使用版本：CentOS-7-x86_64-Everything-2003
三、调配OS7网络：
1.查看自己的IP地址：
在这里插入图片描述

2.调配虚拟机选择模式:
在这里插入图片描述

3.启动虚拟机
4.修改OS7网络配置：vi /etc/sysconfig/network-scripts/ifcfg-ens33
在这里插入图片描述

注：本次搭建为一台NN，四台DN模式，所以五台虚拟机均需分配静态地址，我的为131-135
5.重启网络：service network restart
6.查看IP是否OK：IP ADD
在这里插入图片描述

7.查看是否可PING通外网：ping www.baidu.com
在这里插入图片描述

Ctrl + c 结束网络配置
四、关闭防火墙：
systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动
firewall-cmd --state#检查防

最低0.47元/天 解锁文章
努力发光
关注
Linux（CentOS）上的分布式Hadoop安装搭建（hadoop2.7.7为例）
Imflash的博客
08-10 274
Linux（CentOS）上的Hadoop安装 注意：执行以下步骤我们都用非root账号，不要问为什么不用root账号，我拒绝回答-。-，非root账号是没有在根目录/下rwx的权限的，那么怎么用他执行我们需要的命令呢，在每条命令前加上sudo；当然友情提示 如果你是在装CentOS时，创建的非root账号，勾上管理员权限的小勾就可以使用sudo -f 文件名 但是如果你是自己用命令新...
centos7搭建hadoop2.10高可用(HA)
01-09
本篇介绍在centos7中搭建hadoop2.10高可用集群，首先准备6台机器：2台nn(namenode);4台dn(datanode)；3台jns(journalnodes) IP hostname 进程 192.168.30.141 s141 nn1（namenode），zkfc（DFSZKFailoverController），zk（QuorumPeerMain） 192.168.30.142 s142 dn（datanode）, jn（journalnode），zk（QuorumPeerMain） 192.168.30.143 s143 dn（datanode）,
hadoop-2.10.1完全分布式安装
jassyzhen的博客
04-07 1417
hadoop是java开发的，其运行的环境必须是java环境，在vmvare中安装CentOS7并配置网络和jdk环境中已配置好，这里需要四台机器作为集群配置 四台的主机名和IP地址及安装的服务如下表： 每台都要设置本机到主机的映射 vi /etc/hosts 在问答末尾添加 关闭防火墙 systemctl stop firewalld.service systemctl disable firewalld.service 关闭selinux vi /etc/selinux/c..
CentOS 7部署Hadoop（伪分布式）
Niclas的博客
10-03 3089
目录 测试环境 安装CentOS 7 配置Java环境 配置单机版Hadoop 配置SSH免密登录 修改Hadoop配置文件 关闭防火墙 HDFS初始化 启动Hadoop 关闭Hadoop 测试环境 Linux系统版本：CentOS 7 64位 Hadoop版本：hadoop-2.7.3 Java版本：jdk-8u181-linux-x64 安装CentOS 7 V...
Centos7安装hadoop
算法与编程之美
10-05 673
1 问题VMWare下centos7，通过官网下载hadoop的linux版本并解压配置环境后运行hadoop version显示bash：hadoop:未找到命令，在确定安装和环境配置上没问题后开始逐渐查找问题2 方法在先把网上常见的方法都尝试一遍无果后，开始排查是否为Hadoop版本兼容问题，一开始用的是hadoop2.10.0以后我换成了最新版本hadoop3.4.3，也不行，最后选择了ha...
CentOS 7+Hadoop-2.10.1的hadoop集群搭建
qq_44923545的博客
12-07 3151
Hadoop集群搭建搭建所使用的环境和软件： 搭建所使用的环境和软件： Xshell hadoop-2.10.1.tar.gz jdk-8u162-linux-x64.tar.gz CentOS-7-x86_64-DVD-2009.iso VMware-workstation-full-15.5.6-16341506 (1).exe 网盘链接 link 提取码：whs9 ...
centos7搭建hadoop完全分布式（详细过程）
热门推荐
weixin_44546992的博客
05-02 1万+
centos7安装hadoop（详细过程） 本实验最终的结果是使用四台虚拟机，搭建hadoop集群 一、 准备条件 一台centos7虚拟机（我使用的软件是vm） 文件传输工具：Xftp（vm有vm tool但是不太好用） 远程连接工具：Xshell（与命令行界面类似，但是支持复制粘贴） 二、修改ip为固定 我当时创建的虚拟机采用的网络连接方式是NAT模式，这样比较适合与外网连接。如果当时选...
centos7中进行hadoop搭建全过程
最新发布
m0_54501766的博客
08-13 1391
1.安装模版虚拟机,(以下地址均为实例,具体情况具体应用)IP地址192.168.10.100,主机名称hadoop100,内存4G,硬盘50G2.配置要求1)确认虚拟机联网,ping www.baidu.com试试,ping的同即可2)安装epel-release。
centos7 搭建hadoop集群 zookeeper Hbase集群
Justdoforever的博客
06-09 434
集群规划： 主机名 IP 安装的软件 master 192.168.1.201 jdk、hadoop、zookeeper slave1 192.168.1.202 jdk、hadoop、zookeeper slave2 192.168.1.203 jdk、hadoop、zookeeper 先在master上安装jdk（建议非...
hadoop伪分布式模式部署
机器熊的技术大杂烩
04-09 1038
1.hadoop的部署模式 hadoop可以使用不同的模式部署，适用于不同的场景。 单机模式：无需任何守护进程，所有的程序都运行在同一个JVM上执行，一般用于调试MapReduce程序时使用（多用在Windows环境下）。 伪分布式模式：守护进程运行在本地机器上，模拟一个小规模的集群，只有一个NameNode和一个DataNode实例，数据都存放在同一个节点上。“伪”体现在如何本节点出现故障，则...
【大数据环境搭建（三）】在Centos7上搭建Hadoop集群（完全分布式）
Feng-licong
07-25 1394
【大数据环境搭建（三）】在Centos7上搭建Hadoop集群（完全分布式） 集群配置 使用三节点，master、slave1、slave2， jdk1.8.0_171 zookeeper-3.4.10 hadoop-2.7.3 一、基础配置 首先使用Xshell连接虚拟机，不知道怎么连接的同学可以参考文章底下的系列文章链接。 更改主机名 hostnamectl set-hostname master（在master执行） hostnamectl set-hostname slave1（在slave1执
Centos7安装部署Hadoop集群
xixixilalalahaha的博客
06-06 1017
简介 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽
CentOS 7下搭建伪分布式hadoop2.10.2
ShiYU的博客
03-26 687
本文章记录了在CentOS 7环境下搭建伪分布式hadoop2.10.2的过程，如有不足之处欢迎大家指正。
CentOS7+Hadoop-2.10.1的hadoop集群搭建
songweiren1的博客
07-30 151
https://blog.csdn.net/qq_44923545/article/details/110817003
Hadoop平台搭建--02CentOS开发环境搭建
TriumPhSk的博客
04-25 423
新建虚拟机 选择“自定义(高级)”，并点击【下一步】 选择虚拟机硬件兼容性，并点击【下一步】 选择“稍后安装操作系统”，并点击【下一步】 选择操作系统版本，并点击【下一步】 命名虚拟机，可任意路径，并点击【下一步】 配置处理器，并点击【下一步】 设置虚拟机内存大小，并点击【下一步】 选择“使用网络地址转换(NAT)”，并点击【下一步】 选择“LSI Logi...
Hadoop的完全分布式搭建
ruo1101的博客
06-07 820
首先网卡配置完成后就可以SSH连接了,使用IP地址即可,但是为保证连接的方便,一般我们在Windows中也是使用一个主机名来连接服务器,但是Windows并不认识我们的主机,所以同样需要配置Windows的。,其他的两台还没有,但是这并不影响我们操作,我们就配置这一台,然后克隆出另外两台因为对于Hadoop的配置来说,集群所有的机器都是一致的。一般情况下,用户对hadoop的配置修改都是对自定义配置文件进行操作,自定义配置文件的优先级更高,也就是说,自定义配置会覆盖默认配置。
centOS7在Hadoop2.10下安装分布式Hbase
qq_35444549的博客
08-22 414
一、启动集群HADOOP和ZK 二、下载Hbase安装包：网址（注意看一下hadoop与Hbase的版本哈，需匹配） https://mirror.bit.edu.cn/apache/hbase/2.2.5/hbase-2.2.5-bin.tar.gz 直接WGET或者下载到本地上传服务器都可 三、解压：tar -zxvf hbase-2.2.5-bin.tar 四、完成后进入配置环节：进入hbase安装目录下的conf 注：我是将已解压好的文件MV成好写一点的名字，如hbase 1.配置hbase-env
Hadoop完全分布式环境搭建教程：VMware与CentOS部署详解
本文档详细介绍了如何在Windows环境下搭建一个Hadoop的完全分布式环境。...这对于理解和实践Hadoop分布式环境的部署至关重要，特别是对于初学者来说，这是一个逐步建立和管理Hadoop集群的基础指南。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值