基于Centos7的Hadoop搭建（一）

最新推荐文章于 2022-09-13 23:50:06 发布
最新推荐文章于 2022-09-13 23:50:06 发布
阅读量295 收藏
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36574506/article/details/104635808
版权

本文要跟大家分享的是如何利用自己的PC机搭建一个伪分布式虚拟机集群。首先看一下搭建的框架，如下图所示（如果您的电脑扛得住，可以搭建更多的虚拟机。）
PC机内部搭建的三台虚拟机针对上图，有几点需要说明：

  • 三台虚拟机中有一台用作master，即主节点，用于Hadoop的NameNode节点（NameNode的主要功能是记录数据的元信息，如表字段、表名称、数据块id等）；
  • 三台虚拟机中有两台用作slave，即从节点，用于Hadoop的DataNode节点（DataNode的主要功能是存储数据内容和读写数据，通常一个数据块是128M）；
  • 三台虚拟机之间能够互相通信，同时虚拟机与PC机也能够通信；

接下来，我们就开始一步步地完成Hadoop集群的搭建。受篇幅影响，这里只介绍重点环节，如需详细的流程可以在文末下载链接中获得安装步骤的文档。

1、配置网络

为了能够使PC机与虚拟机之间通信，必须将PC机和虚拟机的IP设置到相同的网段。如果希望虚拟机也能够联网，还需要将PC机和虚拟机的网关保持相同。所以，需要配置PC机和虚拟机的网络。

配置PC机中的Vmnet8网卡

在PC机中安装好VMware虚拟机后，PC机的网络中就会生成两个网卡，一个是Vmnet1网卡和Vmnet8网卡，其中Vmnet1对应虚拟机中的Host-Only网络模式，而Vmnet8则对应NAT网络模式。由于配置虚拟机时，使用的是NAT模式，故接下来需要配置Vmnet8网卡。
在这里插入图片描述右击Vmnet8>>属性>>双击TCP/IPv4

在这里插入图片描述不妨将该网卡的IP配置为192.168.43.200，子网掩码配置为255.255.255.0，网关设置为192.168.43.2，首选DNS设置为8.8.8.8（8.8.8.8是Google提供的免费DNS服务器），备用DNS设置为网关。需要注意的是网关的前三段数字必须与IP地址一致，网关的最后一位数字需设置为2。

2、 配置虚拟机中的Vmnet8网卡
点击VMware主界面菜单栏中的编辑>>虚拟网络编辑器>>VMnet8>>更改设置。如图所示。在这里插入图片描述
当PC机的网卡配置好后，还需要配置虚拟机的IP，目的是使PC机与虚拟机之间通信。配置虚拟机的IP必须保证与PC的IP网段相同，即192.168.43.*的格式。具体配置如下图所示。选择Vmnet8的网卡，将DHCP对应的选框去除，保证IP是静态的（如果不去掉的话，每次开机IP是动态变化的）。将子网设置为192.168.43.0，网段与PC机相同。在这里插入图片描述再点击”NAT”设置，将虚拟机的网关设置为PC机的网关。在这里插入图片描述
再选择“DNS设置”，将DNS服务器设置为8.8.8.8（与PC机的DNS保持一致哦），这个设置主要是为了让虚拟机联网。在这里插入图片描述
3、创建虚拟机master
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述配置完，点击关闭，再点击完成。在这里插入图片描述
虚拟机内部黑屏，出现VMware的logo，然后有如显示如下界面。默认选择第二项，我们要通过上下键，选择第一项Install Centos 7，按enter键进入Centos 7的安装。等待ing…
在这里插入图片描述在这里插入图片描述
点击如图中系统中的安装位置在这里插入图片描述在这里插入图片描述
点击系统的网络主机名，进行主机名的更改，并应用，当前主机名就会进行更新。再点击配置按钮。
在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述等待安装ing。。。在这里插入图片描述
在这里插入图片描述
固定Linux系统的IP地址

设置好网卡后，最后还需要配置Master节点（即虚拟机中一台Linux系统的电脑）的IP、网关和子网掩码，具体操作如下：

输入：vim/etc/sysconfig/network-scripts/ifcfg-ens33(eth0)
删除ens33网卡中的UUID值（唯一识别码）、HWADDR（MAC地址）值和LAST_CONNECT（最近一次连接时间）值，如果不删除的话，会影响后面虚拟机的克隆。
把ens33网卡中的BOOTPROTO设置为static（即表示静态IP），此外再增加静态的IP地址（网段必须与PC机一致）、网关、子网掩码和DNS服务器。 在这里插入图片描述
`测试PC机与虚拟机之间的通信
非常完美，虚拟机（192.168.43.200）可以ping通PC机（192.168.43.2），同时虚拟机也可以ping通baidu（说明可以连接网络）。在这里插入图片描述修改主机名
此时的虚拟机名称为BData，我们需要将其重新修改为master，目的是区别分布式集群中的主节点（master）和从节点（slaves）。修改主机名需要配置/etc/hosts文件和/etc/sysconfig/network这两个文件，具体修改如下：在这里插入图片描述vi /etc/hosts
如上图所示，在配置/etc/hosts文件时，添加红框中的内容。在这里插入图片描述vi /etc/sysconfig/network
如下图所示，配置/etc/sysconfig/network文件时，需要将HOSTNAME修改为master。
修改好这两个文件后，只需要重启虚拟机，便可以发现计算机的名称已经被修改了。
在这里插入图片描述

在PC机上的hosts文件中添加192.168.43.200 master后，即可在PC机中ping master,被识别到192.168.43.200
在这里插入图片描述
重启一下网卡，使上面配置生效。
service network restart，reboot（restart，reboot两者之一）

qq_36574506
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
centos7搭建hadoop
congge
12-24 1万+
前言 hadoop是其他大数据框架的基础运行环境，尤其是hdfs，是其他大数据框架的基础存储载体，因此学习和掌握hadoop对学习大数据很有必要 haddop常用的3种运行模式包括： 本地模式 ，单机运行，只是用来演示一下官方案例。生产环境不用 伪分布式模式，也是单机运行，但具备Hadoop集群所有功能，一台服务器模拟一个分布式的环境 完全分布式模式：多台服务器组成分布式环境。生产环境使用 本篇将基于centos7系统，在腾讯云环境快速搭建一个单节点的haddop运行环境 前置准备 一台配置好网络连接
在centos7上搭建hadoop集群
qq_38799155的博客
07-23 1万+
准备工作 主机名称 系统环境 ip地址 hadoop-master centos7 192.168.150.181 hadoop-slave1 centos7 192.168.150.182 hadoop-slave2 centos7 192.168.150.183 1.下载hadoop 本文用的是hadoop-2.7.3的版本 下载hadoop的链
Centos7之Hadoop完全分布式集群搭建和配置
weixin_44721976的博客
05-26 179
本文基于jdk-1.8.0_121， hadoop-2.7.3 主机：centos01 ip：192.168.233.128 从机1：centos02 ip：192.168.233.131 从机2：centos03 ip：192.168.233.132 以下操作在Xshell里面完成 1.关闭防火墙 firewall-cmd --state显示防火墙状态running/not running sy...
基于centos的hadoop运行环境搭建
weixin_45075778的博客
09-21 209
独立模式安装 (1)环境：hadoop 2.7.3版本、8G固态硬盘、CentOS6.5或6.8 (2)安装centos (3)更改网络模式为Net模式 打开windws网络适配器，打开VMnet8属性面板。打开协议版本4 -勾选使用下面ip地址（目的固定ip地址，阻止电脑自动分配） 更改ip地址的第三四个字段例如：192.168.173.1 连续点击确定。（可更改可不更改，最重要的是虚拟机和windows的ip字段一致） 虚拟机配置自动连接网卡文件（需要root权限才能更改：su root） （.
CentOS7 hadoop集群搭建
qq_41103051的博客
09-13 1733
CentOS7 hadoop集群搭建
基于centos的大数据hadoop集群搭建说明文档
最新发布
10-30
基于CentOS搭建Hadoop集群是常见的实践，下面将逐步指导你完成这一过程。 **1. 准备工作** 在开始搭建之前，你需要准备以下软件和环境： - VMware Workstation：用于创建虚拟机环境 - CentOS-6.9-x86_64-bin-DVD1....
基于CentOS的Hadoop分布式环境的搭建开发
09-15
在搭建基于CentOS的Hadoop分布式环境时，首先需要明确Hadoop是一个分布式计算框架，它主要用于处理和存储海量数据。这个过程通常在Linux系统上进行，因为Linux提供了稳定和高效的运行环境。CentOS作为一款流行的...
CentOS上搭建Hadoop2.5.2_CentOS搭建hadoop_云计算_源码
10-01
以下是基于CentOS 7.0搭建Hadoop 2.5.2的详细步骤，以及涉及的相关知识点： 1. **系统准备**： - 安装最新版本的CentOS 7.0，确保系统更新到最新安全补丁。 - 配置防火墙规则，允许必要的端口通信，如Hadoop默认...
利用虚拟机搭建Hadoop伪集群(基于centos7)
10-17
利用虚拟机搭建Hadoop伪集群(基于centos7),usr 下有 java 和 hadoop两个文件夹,分别解压对应的文件,jdk 的版本是1.8.0_141,hadoop的版本是2.7.3
基于CentOs的Hadoop集群全分布式部署
weixin_30888027的博客
05-06 75
转自：http://blog.csdn.net/inte_sleeper/article/details/6569985 参考资料： http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/ http://www.michael-noll.com/tutorials/run...
centos7下部署Hadoop环境
weixin_28750673的博客
05-31 235
上一篇讲解了Hadoop的基本概念以及组成，本章主要讲解在centos系统下如何安装部署hadoop环境。 版本： Hadoop ：CDH5.15.1 centos： 7 jdk：1.8 安装包下载： CDH JDK 一、centos系统配置 配置网络 配置hostname及IP ``` hostname xxx vi /etc/hostname xxx ``‘ ...
hadoop集群完全分布式集群搭建【基于centos7.0】
初学者
08-19 238
hadoop集群完全分布式集群搭建 1、集群部署规划 2、创建集群脚本 a）在/home/yrx目录下创建bin目录，并在bin目录下xsync创建文件， 文件内容如下： 注：如果没有安装xsync的话，我们可以先装 yum -y install rsync #启动rsync服务 systemctl start rsyncd.service systemctl enable rsyncd...
基于Centos7的Hadoop分布式集群搭建
weixin_40595394的博客
04-12 245
1. 创建hadoop用户 为每台机子创建一个hadoop用户，并且用户名和密码一致 [root@localhost hadoop]# useradd hadoop [root@localhost hadoop]# echo "hadoop"|passwd --stdin hadoop # echo "yourpassword"|passwd --stdin username 2. 配置hos...
CentOS7搭建hadoop集群
热门推荐
浩瀚蓝天dep的博客
12-12 1万+
说明： 1.准备三台虚拟机，参考：CentOS7集群环境搭建(以3台为例) 2.配置虚拟机间免密登陆：参考：CentOS7集群配置免密登录 3.虚拟机分别安装jdk：参考：CentOS7集群安装JDK1.8 准备开始搭建hadoop集群，以下操作在第一台机器node1执行： 1.上传并解压hadoop安装包 1.1上传安装包到/develop/software mkdir -p /develop/software mkdir -p /devel...
centos7下hadoop环境搭建
teddywang
11-15 457
centos7下hadoop环境搭建实验目的：为5台主机搭建hadoop平台，为之后hbase做准备。实验步骤：0x01硬件条件：5台centos7主机，IP地址：x.x.x.46~50。机器的名称分别为lk，node1，node2，node3，node4。 实验条件默认使用root账户，有需要切回普通用户的情况我会提到。0x02材料准备 hadoop安装包 官网下载地址：http://www.
Centos7上搭建hadoop3.0.3完全分布式 （.tar.gz）
wudinaniya的博客
07-26 6328
这里搭建的是3个节点的完全分布式，即1个nameNode，2个dataNode,分别如下： master    nameNode    192.168.0.249 node1    dataNode    192.168.0.251 node2    dataNode    192.168.0.252 1.首先创建好一个CentOS虚拟机，将它作为主节点我这里起名为master，起什么都行...
centos7 Hadoop集群部署
oToyix的博客
07-06 710
centos7 Hadoop集群部署 一、Hadoop环境配置 从0开始构建一套Hadoop大数据平台，CentOS 7.x系统。Hadoop的安装部署都属于java进程，就是启动了JVM进程，运行服务。 HDFS：存储数据，提供分析的数据； NameNode/DataNode YARN:提供程序运行的资源； ResourceManager/NodeManager Hadoop版本：hadoop-3.2.2 192.168.0.47 namenode、datanode、secondary namenod
虚拟机下基于CentOS 7 Hadoop 分布式搭建
qq_45084064的博客
09-12 558
目录一、准备工作1.虚拟机准备2.对四台机器分别配置网络3.xftp上传压缩包（给master机上传即可）二、搭建JDK环境1.免密登录2.检查是否有内置JDK3.解压JDK压缩包到 /root下4.配置环境变量5.刷新环境变量6.验证搭建7.分发到 slave1~3机器三、配置Hadoop环境变量1.解压，改名2.配置Hadoop环境变量3.刷新环境变量4.验证搭建四、部署Hadoop1.切换目录2.配置 core-site.xml 文件3.配置 hdfs-site.xml 文件4.配置 hadoop-e
CentOs7 Hadoop集群部署
涵sir的博客
12-06 78
前言 Hadoop单节点伪分布部署参考这篇，本篇来进行真正多节点部署。 角色分配 cdh01，cdh02，cdh03 node cdh01 cdh02 cdh03 HDFS NameNode、DataNode SecondNameNode、DataNode DataNode YARN ResourceManager、NodeManager NodeManager NodeManager 解压安装及配置 cdh01： tar -zxvf hadoop-2.6.0-cdh5.15.1
CentOS7上搭建Hadoop集群(入门级)
BADAO_LIUMANG_QIZHI的博客
08-02 3447
场景 Hadoop Apache Hadoop是一款支持数据密集型分布式应用并以Apache 2.0许可协议发布的开源软 件框架，支持在商品硬件构建的大型集群上运行应用程序。Hadoop是根据Google公司发表的 MapReduce和GFS论文自行开发而成的。 Hadoop框架透明地为应用提供可靠性和数据移动，它实现了名为MapReduce的编程范式: 应用程序被切分成许多小部分，而每个部分都能在集群中的任意节点上执行或重新执行。此 外，Hadoop还提供了分布式文件系统，用以存储所有...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值