CentOS7搭建hadoop完全分布式集群

最新推荐文章于 2024-07-13 17:43:40 发布
最新推荐文章于 2024-07-13 17:43:40 发布
阅读量1.2k 收藏 14
点赞数 3
分类专栏： 大数据 文章标签： centos hadoop 完全分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Jop_qq/article/details/89421400
版权

集群节点信息
master 192.168.120.10
slave1 192.168.120.11
slave2 192.168.120.12
slave3 192.168.120.13

使用到的资源
Centos7
hadoop-2.7.7
jdk8_201
Xshell6
Xftp6
Virtualbox
日志文件email_log.txt

以上所述资源均已上传至百度云盘共享，可自行获取
链接：https://pan.baidu.com/s/1iD32P1Q4wtXA36eC9JH0OQ
提取码：z71l
复制这段内容后打开百度网盘手机App，操作更方便哦

集群搭建步骤：

进入并查看网卡文件，修改ifcfg-enp0s3和ifcfg-enp0s8网卡文件中的“ONBOOT=no”为“ONBOOT=yes”,设置网卡随虚拟机启动而开启，否则无法连接外网，修改后输入命令“reboot”重启虚拟机
在这里插入图片描述
在这里插入图片描述
输入命令“yum update”更新一下系统
在这里插入图片描述
输入命令“yum install net-tools vim”,安装net-tools和vim工具，以便后续查看IP地址和文本编辑操作
在这里插入图片描述
输入命令“ifconfig -a”查看ip地址，记录IP信息：192.168.120.10，后续远程连接虚拟机需要使用
在这里插入图片描述
使用Xshell远程连接工具连接master虚拟机，点击“新建”创建虚拟机连接，输入刚刚获取的ip信息
在这里插入图片描述
点击左侧列表中的“用户身份验证”，输入虚拟机的用户名和登录密码，然后点击“连接”
在这里插入图片描述
选择“接受并保存”
在这里插入图片描述
成功连接界面如下
在这里插入图片描述
同样，使用Xftp工具远程连接虚拟机，用于本地文件上传到虚拟机文件系统
在这里插入图片描述
直接拖拽文件即可实现文件传输，此处将hadoop、jdk安装文件以及测试日志email_log.txt文本文件传输到虚拟机的/opt目录下
在这里插入图片描述
进入/opt目录，查看接收的文件，并解压jdk文件
在这里插入图片描述
查看解压后的文件，并修改文件名为jdk8
在这里插入图片描述
修改java环境配置，保存后输入命令“source ~/.bashrc”令环境配置生效
在这里插入图片描述
输入命令“java -version”查看java版本信息，若显示则说明环境配置成功
在这里插入图片描述
解压hadoop文件在/opt目录下
在这里插入图片描述
查看并修改解压后的文件名为hadoop
在这里插入图片描述
输入命令“cd /opt/hadoop/etc/hadoop”,进入hadoop配置文件目录

修改core-site.xml文件，修改内容如下

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://master:8020</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/hadoop_tmp</value>
        </property>
</configuration>

修改hadoop-env.sh文件，找到JAVA_HOME所在行，修改为jdk安装路径
在这里插入图片描述
修改hdfs-site.xml文件，修改内容如下

<configuration>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:///opt/hadoop_tmp/hdfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:///opt/hadoop_tmp/hdfs/data</value>
        </property>
        <property>
                 <name>dfs.namenode.secondary.http-address</name>
                 <value>master:50090</value>
        </property>
        <property>
                 <name>dfs.replication</name>
                 <value>3</value>
        </property>
</configuration>

修改mapred-site.xml文件，由于mapred-site.xml文件是通过复制mapred-site.xml.template文件得到的
输入命令“cp mapred-site.xml.template mapred-site.xml”即可
修改内容如下

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <!-- jobhistory properties -->
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>master:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>master:19888</value>
        </property>
</configuration>

修改yarn-site.xml文件，修改内容如下

	<property>
                <name>yarn.resourcemanager.hostname</name>
                <value>master</value>
        </property>
        <property>
                <name>yarn.resourcemanager.address</name>
                <value>${yarn.resourcemanager.hostname}:8032</value>
        </property>
        <property>
                <name>yarn.resourcemanager.scheduler.address</name>
                <value>${yarn.resourcemanager.hostname}:8030</value>
        </property>
        <property>
                <name>yarn.resourcemanager.webapp.address</name>
                <value>${yarn.resourcemanager.hostname}:8088</value>
        </property>
        <property>
                <name>yarn.resourcemanager.webapp.https.address</name>
                <value>${yarn.resourcemanager.hostname}:8090</value>
        </property>
        <property>
                <name>yarn.resourcemanager.resource-tracker.address</name>
                <value>${yarn.resourcemanager.hostname}:8031</value>
        </property>
        <property>
                <name>yarn.resourcemanager.admin.address</name>
                <value>${yarn.resourcemanager.hostname}:8033</value>
        </property>
        <property>
                <name>yarn.nodemanager.local-dirs</name>
                <value>/opt/hadoop_tmp/yarn/local</value>
        </property>
        <property>
                <name>yarn.log-aggregation-enable</name>
                <value>true</value>
        </property>
        <property>
                <name>yarn.nodemanager.remote-app-log-dir</name>
                <value>/opt/hadoop_tmp/logs</value>
        </property>
        <property>
                <name>yarn.log.server.url</name>
                <value>http://master:19888/jobhistory/logs/</value>
                <description>URL for job history server</description>
        </property>
        <property>
                <name>yarn.nodemanager.vmem-check-enabled</name>
                <value>false</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
                <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
        <property>
                <name>yarn.nodemanager.resource.memory-mb</name>
                <value>2048</value>
        </property>
	<property>
                <name>yarn.scheduler.minimum-allocation-mb</name>
                <value>512</value>
        </property>
        <property>
                <name>yarn.scheduler.maximum-allocation-mb</name>
                <value>4096</value>
        </property>
        <property>
                <name>mapreduce.map.memory.mb</name>
                <value>2048</value>
        </property>
        <property>
                <name>mapreduce.reduce.memory.mb</name>
                <value>2048</value>
        </property>
        <property>
                <name>yarn.nodemanager.resource.cpu-vcores</name>
                <value>1</value>
        </property>

修改yarn-env.sh文件，找到被注释的JAVA_HOME所在行，在下方添加JAVA_HOME路径
在这里插入图片描述
修改slaves文件，修改为如下内容，删除原有的localhost
在这里插入图片描述
修改/etc/hosts文件中的IP地址映射，修改内容如下
在这里插入图片描述
完成以上操作，输入命令“shutdown now”关闭虚拟机，重复以下操作复制出三个子节点虚拟机
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
启动所有虚拟机，并使用Xshell远程登录所有虚拟机
修改机器名，所有节点都需要改成相应的节点名
在这里插入图片描述
所有虚拟机均执行命令“vim /etc/hostname”,清空原有内容，添加相应主机名字master、slave1、slave2、slave3

修改后输入命令“reboot”重启所有虚拟机，令修改的配置生效，输入命令“ping slave1”测试是否机器名是否修改成功
按Ctrl+C终止ping命令执行
在这里插入图片描述
在主节点master上输入命令“ssh-keygen -t rsa”产生公钥与私钥对
在这里插入图片描述
依次执行以下命令将主节点master的公钥复制到子节点虚拟机上

ssh-copy-id -i /root/.ssh/id_rsa.pub master

ssh-copy-id -i /root/.ssh/id_rsa.pub slave1

ssh-copy-id -i /root/.ssh/id_rsa.pub slave2

ssh-copy-id -i /root/.ssh/id_rsa.pub slave3

依次验证SSH是否能够免密登录子节点虚拟机

在这里插入图片描述
所有虚拟机均输入命令“yum install -y ntp”，下载NTP服务用于同步时间
在这里插入图片描述
在主节点master输入命令“vim /etc/ntp.conf”打开/etc/ntp.conf文件，注释掉以server开头的行，并添加如下所示内容:
在这里插入图片描述

restrict 192.168.0.0 mask 255.255.255.0 nomodify notrap
server 127.127.1.0
fudge 127.127.1.0 stratum 10

在三个子节点分别输入命令“vim /etc/ntp.conf”打开/etc/ntp.conf文件，注释掉以server开头的行，并添加内容“server master”
在这里插入图片描述
所有虚拟机均永久关闭防火墙
执行关闭命令：

systemctl stop firewalld.service

再次执行查看防火墙命令：

systemctl status firewalld.service

执行开机禁用防火墙自启命令 ：

systemctl disable firewalld.service

在这里插入图片描述
在主节点master执行命令“service ntpd start & chkconfig ntpd on”,如下所示说明成功

service ntpd start & chkconfig ntpd on

在这里插入图片描述
在子节点上均执行一遍命令“ntpdate master”,出现如下信息说明时间同步时间成功

ntpdate master

在这里插入图片描述
在子节点分别执行命令“service ntpd start & chkconfig ntpd on”,即可永久启动NTP服务

service ntpd start & chkconfig ntpd on

在这里插入图片描述
所有虚拟机均执行命令“vim /etc/profile”配置HADOOP_HOME环境变量，修改后执行命令“source /etc/profile”令配置生效，在末尾添加配置内容如下

export HADOOP_HOME=/opt/hadoop
export PATH=$HADOOP_HOME/bin:$PATH:/opt/jdk8/bin

所有虚拟机进入/opt中新建文件夹hadoop_tmp
在这里插入图片描述
以下操作均只在主节点master上执行即可
格式化namenode
在这里插入图片描述
显示如下信息说明格式化成功
在这里插入图片描述
启动HDFS和YARN相关服务
在这里插入图片描述
启动日志相关服务
在这里插入图片描述
查看主节点master的进程信息
在这里插入图片描述
查看子节点的进程信息（在子节点虚拟机执行）
在这里插入图片描述
在本地文件夹找到该路径下的hosts文件，修改IP映射文件添加如下内容，以便本地浏览器能够打开hadoop资源监控网站
在这里插入图片描述
在这里插入图片描述
在浏览器输入网址http://master:50070
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在浏览器输入网址http://master:8088
在这里插入图片描述
在这里插入图片描述
在浏览器输入网址http://master:19888
在这里插入图片描述
通过命令行方式查看HDFS信息，输入命令“/opt/hadoop/bin/hdfs dfsadmin -report”即可，如下显示
在这里插入图片描述
在hdfs文件系统中新建input文件夹，用于存放测试日志文件email_log.txt
输入命令

/opt/hadoop/bin/hdfs dfs -mkdir /input

在这里插入图片描述上传在/opt目录下的email_log.txt文件到HDFS文件系统中的input目录下
执行命令

/opt/hadoop/bin/hdfs dfs -put /opt/email_log.txt /input/

在这里插入图片描述
任务一：统计用户登录次数

使用hadoop jar命令提交MapReduce任务，命令如下

 /opt/hadoop/bin/hadoop jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount /input/email_log.txt /output

执行过程
在这里插入图片描述
执行成功结果
在这里插入图片描述
在这里插入图片描述
执行命令查看部分统计结果

/opt/hadoop/bin/hdfs dfs -tail /output/part-r-00000

在这里插入图片描述任务作业的详细信息
在这里插入图片描述
在这里插入图片描述

任务二：管理多个MapReduce任务
以执行多个估算PI值的任务管理为例
执行命令
示例作业1：估算PI值

/opt/hadoop/bin/hadoop jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar pi 30 5000

示例作业2：统计用户登录次数

 /opt/hadoop/bin/hadoop jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount /input/email_log.txt /temp/output_1

上述两个任务执行时，查看集群计算资源的使用情况：
在这里插入图片描述
查看执行时，集群上的作业列表
在这里插入图片描述
查看作业1的当前状态在这里插入图片描述
选择界面上的选项“Kill Application”,并在弹出的新对话框中，单击“确定”
在这里插入图片描述
查看被中断的任务详细信息在这里插入图片描述

JopenC
关注
  • 3
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Hadoop集群完全分布式搭建教程-CentOS
在路上
12-27 1万+
本篇在前一篇《Hadoop单机模式和伪分布式搭建教程》的基础上完成完全分布式的搭建，所以本篇的前提是已经按照之前的教程完成了伪分布式的安装。 1. 说明        本教程中电脑为8G内存，故而将使用四个节点作为集群环境，其中一个为master，3个为slaver（分别是slaver1、slaver2和slaver3master节点将仅为namenode存在，而slaver节点是da
Centos7 系统虚拟机之搭建完全分布式Hadoop环境
源源源的博客
07-13 4946
基本工作 建立虚拟机群 在VMware中新建4台虚拟机 1、主机名：hadp01、hadp02、hadp03、hadp04 2、镜像文件：Centos7 （https://pan.baidu.com/s/1pqGMlRwC-t5Qp5YF-aowuA 提取码:w3du） 3、内存：1.5G 资源管理器中在此电脑上右键查看属性，要使得四个虚拟机的内存之和要小于本机运存 4、网络连接：NAT 5、记录各虚拟机IP ip addr //适用于Centos7以上版本 ipconfig
hadoop学习之hadoop完全分布式集群安装
热门推荐
落魄影子
12-03 12万+
注：本文的主要目的是为了记录自己的学习过程，也方便与大家做交流。转载请注明来自： http://blog.csdn.net/ab198604/article/details/8250461   要想深入的学习hadoop数据分析技术，首要的任务是必须要将hadoop集群环境搭建起来，可以将hadoop简化地想象成一个小软件，通过在各个物理节点上安装这个小软件，然后将其运行起来，就是一个h
CentOS7安装Hadoop集群
最新发布
清徐柳的博客
07-13 940
Centos7部署Hadoop3.3.6以及Hive3.1.3
Centos7之Hadoop完全分布式集群搭建和配置
weixin_44721976的博客
05-26 183
本文基于jdk-1.8.0_121， hadoop-2.7.3 主机：centos01 ip：192.168.233.128 从机1：centos02 ip：192.168.233.131 从机2：centos03 ip：192.168.233.132 以下操作在Xshell里面完成 1.关闭防火墙 firewall-cmd --state显示防火墙状态running/not running sy...
非常详细的centos7.0下Hadoop2.7.1集群搭建教程
09-26
非常详细的centos7.0下Hadoop2.7.1集群搭建教程，内附自己的解决办法和提示
VM+CentOS+hadoop2.7搭建hadoop完全分布式集群
01-24
### 基于VM+CentOS+hadoop2.7搭建Hadoop完全分布式集群的知识点解析 #### 一、概述 本文旨在详细介绍如何使用VMware Workstation（简称VM）结合CentOS 6.5操作系统来搭建Hadoop 2.7的完全分布式集群。此文档是根据...
centos7搭建hadoop完全分布式集群
Mr.Cao
12-17 946
搭建步骤   1.安装centos7，并进行准备工作（可以安装一个之后然后克隆） 2.修改各个centos7的hostname和hosts 3.创建用户和用户组 4.配置centos7网络，是centos7系统之间以及和hosts主机之间可以通过互相ping通 5.安装jdk和配置环境变量，检查是否配置成功 6.配置ssh，实现节点间的无密码登录ssh node1/2指令验证时候成功...
CentOS7一键搭建Hadoop完全分布式集群环境脚本
m0_51069940的博客
04-15 1353
大纲一、前情提要1、已集成的环境2、必要准备3、必须提前获取的参数！！！！特别注意！二、 一键搭建hadoop集群脚本1、将脚本导入CentOS7里面2、给脚本赋予执行权限3、执行脚本4、脚本源码三、一键启动和关闭hadoop脚本1、给脚本赋予执行权限2、源码——启动hadoop所有服务脚本3、源码——停止hadoop所有服务四、查看web端五、Xshell控制集群终端1、安装Xshell2、新建hadoop1、hadoop2、hadoop3会话3、登录结束！ 一、前情提要 1、已集成的环境 java1
CentOS7搭建Hadoop2.6完全分布式集群环境
a237428367的专栏
01-05 9535
3台主机 192.168.30.207 Master 192.168.30.251 Node1 192.168.30.252 Node2 直接用root装,省事. 有特殊需求自行add user装. 以下步骤除非特殊说明,否则每台都必须配置. 1.装JDK 我这装的 /usr/java/jdk1.8.0_65 2.vi /etc/sysconfig/netw
centos7搭建hadoop完全分布式（详细过程）
weixin_44546992的博客
05-02 1万+
centos7安装hadoop（详细过程） 本实验最终的结果是使用四台虚拟机，搭建hadoop集群 一、 准备条件 一台centos7虚拟机（我使用的软件是vm） 文件传输工具：Xftp（vm有vm tool但是不太好用） 远程连接工具：Xshell（与命令行界面类似，但是支持复制粘贴） 二、修改ip为固定 我当时创建的虚拟机采用的网络连接方式是NAT模式，这样比较适合与外网连接。如果当时选...
CentOS7下超详细搭建完全分布式集群——hadoop2.7.7
zht245648124的博客
03-06 5133
一、集群规划 这里搭建的是3个节点的完全分布式，即1个nameNode，2个dataNode，分别如下： hadoopmaster nameNode 192.168.100.11 hadoopnode2 dataNode 192.168.100.12 hadoopnode3 dataNode 192.168.100.13 二、搭建master节点 1.首先创建好一个Ce...
Centos7 下 Hadoop 2.6.4 分布式集群环境搭建
搬砖小工053
07-19 2911
摘要在实际集群上搭建 Hadoop 2.6.4 分布式集群环境。集群准备有五台机器，通过已经更改机器名称为master，slaver1，slaver2，slaver3，slaver4，并设置了面密码ssh登录。可以参考这里 机器名称 ip master 192.168.122.1 slaver1 192.168.122.2 slaver2 192.168.122.3
linux下centOs7搭建hadoop完全分布式集群
qq_15138689的博客
07-15 428
hadoop作用及其hadoop一些理论知识，我在这里就不讲解了，我搭建hadoop之前我也看了好多博客各种搭建，按照其他博客上写的我搭建了好多次都未能安装成功，后来还是在网上看了马士兵老师的讲解后才搭建成功的(自己看其他博客未能搭建成功，可能是由于自身理解与举一反三有限导致)好了，不再多说废话了来跟我一起搭建吧！ 我这里搭建是完全分布式集群，用了四台linux服务器（虚拟机，因为没有正式的服务...
【大数据环境搭建（三）】在Centos7上搭建Hadoop集群（完全分布式）
Feng-licong
07-25 1389
【大数据环境搭建（三）】在Centos7上搭建Hadoop集群（完全分布式） 集群配置 使用三节点，master、slave1、slave2， jdk1.8.0_171 zookeeper-3.4.10 hadoop-2.7.3 一、基础配置 首先使用Xshell连接虚拟机，不知道怎么连接的同学可以参考文章底下的系列文章链接。 更改主机名 hostnamectl set-hostname master（在master执行） hostnamectl set-hostname slave1（在slave1执
Centos7下Hadoop完全分布式安装
蔡政洁的博客
06-03 566
目录Centos7下Hadoop完全分布式安装第一步：安装文件第二步：免密登录配置（1）vim 的安装（2）host配置（3）关闭防火墙（4）实现免密登陆（5）安装NTP时间同步服务第三步：配置环境变量第四步：设置Hadoop配置文件（1）配置hadoop-env.sh文件（2）配置core-site.xml文件（3）配置hdfs-site.xml文件（4）配置mapred-site.xml文件（5）配置yarn-site.xml文件（6）修改 slaves 文件第五步：分发配置到 node2、node3
hadoop完全分布式集群
CSDN_bird的博客
06-13 452
首先我们要先知道我们的主机名 我配置的是四台虚拟机 一台NameNode，一台SencodryNameNode,SencodryNameNode节点上同时有着 DataNode ，还有两台DataNode 。 在linux上我们一般使用vi 来执行操作 也可以使用vim 使用vim需要下载 yum -y install vim* vim使用比较舒服一点 ，所以我一般都是使用vim 我配置的主机名...
Centos7-hadoop完全分布式搭建
紫藤&code的博客
02-06 1029
准备 两部虚拟机，master,slave(我用的主节点master是Desktop模式的，子节点slave为了节省空间，装的Minimal模式的,但不影响) JDK Hadoop master上安装JDK 下载java包 jdk-8u201-linux-x64.tar.gz 解压 tar -zxvf jdk-8u201-linux-x64.tar.gz 先创建文件夹java mkdir ...
CentOS7下搭建Hadoop2.9.1完全分布式集群过程（超详细）
wenpan的博客
10-24 1万+
  Hadoop 集群搭建   本文主要对完全分布式Hadoop集群环境的安装与配置步骤进行介绍。 使用VMware Workstation Pro 14.0、CentOS7和Hadoop2.9.1      集群的节点规划信息如下：   Host Name IP Address Node Type User ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值