Hadoop-2.7.6 集群部署搭建

最新推荐文章于 2023-09-29 23:25:29 发布
最新推荐文章于 2023-09-29 23:25:29 发布
阅读量858 收藏 2
点赞数 2
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36470898/article/details/108915249
版权

Hadoop-2.7.6 集群部署搭建

一、 前期准备

1.1 安装JDK并配置环境变量

vim /etc/profile
#JAVA环境变量
export JAVA_HOME=/home/iot/jzz/jdk1.8.0_231
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

查看是否安装成功

 java -version

在这里插入图片描述

1.2 虚拟机配置

操作系统主机名IP
Ubuntuslave1192.168.0.118
Ubuntuslave2192.168.0.119
Ubuntuslave3192.168.0.120
#配置hosts,在三台机子上都配置上
vim /etc/hosts

在这里插入图片描述

1.3 配置ssh免密登录

配置好每台机子的免密通信，并能实现三台机子互相通信
在这里插入图片描述

二、Hadoop集群部署

2.1 下载安装并配置环境

下载hadoop地址：http://archive.apache.org/dist/hadoop/common/

# 下载后解压到指定目录
tar -zxvf hadoop-2.7.6.tar.gz -C /opt/apps

配置hadoop环境变量

vim /etc/profile
export HADOOP_HOME=/opt/apps/hadoop-2.7.6
export PATH=$PATH:$HADOOP_HOME/bin

查看是否安装成功

source /etc/profile
hadoop version

在这里插入图片描述

2.2 设置hadoop配置文件

首先，进入文件目录

cd /opt/apps/hadoop-2.7.6/etc/hadoop

1、hadoop-env.sh：用来配置hadoop所需要的jdk的环境，是hadoop可以调用本机的jdk。
2、core-site.xml ：里面的参数
fs.defaultFS，用来说明hadoop使用什么文件系统。
hadoop.tmp.dir，hadoop文件存储目录。
还有两个参数一般不做修改，
fs.checkpoint.period，表示多长时间记录一次hdfs的镜像,默认是1小时。
fs.checkpoint.size，表示镜像文件快大小，默认64M。

3、hdfs-site.xml：用来指定namenode和datanode的存放目录，还有存放数据的副本数，一般默认为3。
4、mapred-site.xml：mapreduce的参数。
5、yarn-site.xml ：集群资源管理系统参数。
6、slaves：需要启动datanode和nodemanager的虚拟机
修改内容如下：

hadoop-env.sh

vim  hadoop-env.sh
#设置JAVA环境

在这里插入图片描述
core-site.xml

vim core-site.xml

<configuration>
 <property>
     <name>fs.defaultFS</name>
     <value>hdfs://slave1:9000</value>
     <description>指定HDFS的（NameNode）的地址</description>
  </property>
  <property>
      <name>hadoop.tmp.dir</name>
      <value>file:/opt/apps/hadoop-2.7.6/dfs/tmp</value>
      <description>指定hadoop运行时产生文件的存储目录</description>
</property>
</configuration>

hdfs-site.xml

vim hdfs-site.xml

<configuration>
 <property>
     <name>dfs.replication</name>
     <value>3</value>
         <description>指定HDFS副本的数量</description>
  </property>
  <property>
     <name>dfs.namenode.name.dir</name>
     <value>file:/opt/apps/hadoop-2.7.6/dfs/name</value>
     <description>namenode的存储路径</description>
  </property>
  <property>
     <name>dfs.datenode.date.dir</name>
     <value>file:/opt/apps/hadoop-2.7.6/dfs/date</value>
     <description>指定datenode的路径</description>
</property>
</configuration>

mapred-site.xml

mv mapred-site.xml.template mapred-site.xml
vim  mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

yarn-site.xml

vim yarn-site.xml

<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>slave1</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

slaves

 vim  slaves
 
slave1
slave2
slave3

这里三台机子都是这样的配置

2.3 主节点初始化文件系统

首次启动时，只在slave1主节点格式化文件系统。执行完后可以看到在~/apps/hadoop-2.7.6/dfs/下面会自动生成一个叫name的文件夹

./bin/hdfs namenode -format

在这里插入图片描述

2.4 启动Hadoop集群

/opt/apps/hadoop-2.7.6/sbin/start-all.sh

2.5 验证集群是否启动成功

方法1查看进程数据

在主节点上可以看到下面5个进程
NodeManager
ResourceManager
DataNode
NameNode
SecondaryNameNode
在从节点只有2个
DataNode
NodeManager

在这里插入图片描述
在这里插入图片描述
方法2 在浏览器访问console页面

访问hadoop页面：
http://192.168.0.118:50070
访问yarn页面：
http://192.168.0.118:8088

注意事项：
如果DataNode没有启动，那就说明你可能原本DataNode的目录被使用过了，里面的对于NameNode的编号与现在的不一致。解决方法：如果DataNode文件夹里存在数据，那么你需要修改Current下的version，使其与DataNode上的保持一致。如果DataNode里面没有数据，是刚搭建的，那么可以先将HDFS关闭，然后删除DataNode文件夹，再次打开HDFS，这样的话，DataNode就会重新获取NameNode的信息，就可以连接上了。

2.6 停止hadoop集群

/opt/apps/hadoop-2.7.6/sbin/stop-all.sh

三、提交MapeReduce Job

3.1 在HDFS上创建文件夹

hadoop dfs -mkdir /data

3.2 创建数据源wordcont.txt 并提交到Hdfs

vim wordcont.txt
添加：
hello hadoop
hello spark
hello yarm

 hadoop dfs -put wordcount.txt /data

查看是否上传成功
在这里插入图片描述

3.3 运行MR

cd /opt/apps/hadoop-2.7.6/share/hadoop/mapreduce
hadoop jar hadoop-mapreduce-examples-2.7.6.jar wordcount /data  /data/wordresult

在这里插入图片描述
其中 wordcount为程序的主类名， /data 输入目录，/data /wordresult 输出目录，且输出目录不能存在，否则会报错.

通过管理界面查看效果：
在这里插入图片描述
在这里插入图片描述
可以看到成功输出到hdfs输出目录，yarm界面也记录这个Job成功运行

希望文章能对你有帮助

奋斗的IT小白菜
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Windows下hadoop2.7.6安装及配置教程
weixin_39025364的博客
04-21 2139
一、首先确保你已经安装了JDK 您可以去官网下载JDK1.8.0（注意版本哦~） 二、去获取hadoop-2.7.6的镜像（清华大学提供的优秀资源）： http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common 三、接下来就到了我们的配置过程啦~ 1.配置环境变量 系统变量Java_Home 系统变量Hadoop_Home ...
怎么进入hadoop目录_Hadoop 安装
weixin_28797889的博客
02-01 6656
Hadoop安装下载Hadoop安装包Hadoop官网：http://hadoop.apache.org/解压Hadoop安装包(只在master做)确保 network 网络已经配置好，使用Xftp等类似工具进行上传，把 hadoop-2.7.5.tar.gz 上传到 /opt/hadoop 目录内。上传完成后，在 master 主机上执行以下代码：cd /opt/hadoop进入/o...
hadoop-2.7.6src.tar.gz的压缩包
07-03
这是关于在hadoop-2.7.6版本的.scr.tar.gz根式的压缩包
Hadoop-2.7.6集群搭建（最清晰易懂）
SmallHedgehog的博客
12-15 551
hadoop集群结构 核心：HDFS+MapReduce 集群搭建步骤 准备三台虚拟机，这里使用的是ubuntu16.04 将虚拟机的网络进行桥接配置，使他们之间能够互相访问 为虚拟机安装好jdk 更改虚拟机的主机名以及配置网址域名和它的IP地址的映射关系 配置ssh免密登录 安装hadoop并配置相应文件 初始化HDFS 批量启动，并在浏览器中查看结点情况 过程 1. ...
Hadoop2.7.6集群搭建
江南阁
12-27 315
首先，搭建的准备工作：Linux（CentOS）、xshell、至少8G内存。 创建几个虚拟机，一主多从，每一个创建的时候，在最后安装前的设置里面，设置网络和主机名的两个地方，一个是IPv4那里，设置好IP地址，端口号和网关；还有一个是在常规那里勾选上第一个。每一个创建完，都要检测是否能够联网。同时检查一下网卡设置，命令为：vi /etc/sysconfig/network-scripts/if...
Hadoop-2.7.1集群环境搭建
ZK_小小世界的专栏
11-13 4376
由于日志数据量越来越大，数据处理的逻辑越来越复杂，同时还涉及到大量日志需要批处理，当前的flume-kafka-storm-hbase-web这一套流程已经不能满足当前的需求了，所以只能另寻出路，于是想到了Hadoop这个东西。之前的storm是一个基于流式处理的实时分析系统，相比Hadoop的离线批处理各有千秋，两者相比，我有看到一个比较形象的比喻：Hadoop就像是纯净水，一桶一桶地搬，而St
hadoop-2.7.6.tar.zip
11-30
在本例中，“hadoop-2.7.6.tar.gz”是一个包含了Hadoop源码或二进制的压缩文件。它首先是Gzip（.gz）压缩，然后是一个TAR（.tar）归档文件。用户需要先用gunzip命令解压Gzip，再用tar命令提取TAR文件，才能得到...
hadoop-2.7.6
05-14
这个压缩包“hadoop-2.7.6”包含了在Linux环境下搭建Hadoop集群所需的所有组件和配置文件，使得用户可以在多台服务器上构建一个高效、可靠的分布式系统。 1. **Hadoop核心组件**： Hadoop主要包括两个主要部分：...
hadoop-2.7.6winutils.rar
11-28
标题中的"hadoop-2.7.6winutils.rar"是一个针对Windows系统的Hadoop工具包，主要包含用于在Windows环境下运行Hadoop的必要组件。Hadoop是Apache软件基金会开发的一个开源框架，主要用于处理和存储大量数据，它实现了...
hadoop-2.7.6.zip
02-22
六、使用Hadoop-2.7.6注意事项 1. 环境配置：安装前需确保Java环境已安装，并配置好Hadoop的环境变量。 2. 单机模式、伪分布式和完全分布式：根据需求选择合适的运行模式。 3. 集群部署：规划好硬件资源，合理设置...
超详细的hadoop完全分布式集群的搭建
programmer_trip的博客
06-05 3957
HDFS (hadoop distributed file system) : hadoop分布式文件系统 环境: 这是学习使用的,因为用虚拟机,通过root用户进行搭建 一.创建一个虚拟机 had01 ,网络连接方式均为NAT模式 搭建步骤: 首先创建一个hdp01
Hadoop2.7.6搭建HA高可用集群（图文详解）
qq_51528941的博客
03-23 568
Hadoop 2.7.6 HA高可用集群搭建
hadoop2.7.6集群搭建
落幕7的博客
09-17 596
hadoop2.7.6完全分布式集群搭建前提开始搭建hadoop集群1、关闭防火墙 master,slave1,slave2都要进行2、设置免密钥登录3、上传hadoop安装包 上传到msater 的/usr/local/jar/4、解压5、配置环境变量6、修改配置文件6.1、slaves ： 从节点列表（datanode）6.2、hadoop-env.sh ： Hadoop 环境配置文件6.3、core-site.xml ： hadoop核心配置文件6.4、hdfs-site.xml ： hdfs配置文件
02-Hadoop2.7.6最基本操作（群起集群、上传文件）
最新发布
Slothwolf的博客
09-29 267
学习Hadoop的最基本操作（群起集群、基本文件上传操作），以及埋下了两个坑，以后再学。
【Hadoop】Hadoop 2.7.6安装_伪分布式集群
个人公众号：Alen的数据库学习笔记
06-08 5821
本篇主要演示在Linux上安装单节点Hadoop模式，以及伪分布式Hadoop模式。一 安装环境操作系统：Oracle Linux Server release 6.5；Java版本：java-1.7.0-openjdk-1.7.0.45；Hadoop版本：hadoop-2.7.6；二 安装前准备1 创建hadoop用户[root@strong ~]# useradd hadoop [root@s...
Hadoop2.7.6集群安装部署记录(3台云服务器)
磊杰的博客
11-03 1201
Linux三台机器集群部署Hadoop2.7.6
Hadoop 2.7.6集群部署
chendusaotongxue的博客
07-05 627
Hadoop 2.7.6集群部署 简要流程及其代码实现 相关环境： CentOS 6.4 64 jdk1.7.0_79 VMware Tools Hadoop 2.7.6 提取连接： 安装及解压VMware Tools 1.1. 下载VMware Tools 虚拟机–>安装VMware Tools 双击打开系统下载好的VMware Tools，将其VMwareTools-10.3.10-13959562.tar.gz文件放出至桌面 打开终端进入root用户将压缩包解压 tar
HADOOP2.7.6的安装及搭建
weixin_48882530的博客
09-17 391
1、关闭防火墙 所有节点 service iptables stop chkconfig iptables off 2、设置免密钥 在master中生成密钥文件 ssh-keygen -t rsa 一直回车 将密钥文件同步到所有节点 ssh-copy-id master ssh-copy-id node1 ssh-copy-id node2 3、上传hadoop安装包 上传到msater的/usr/local/soft/ hadoop-2.7.6.tar.gz 4、解压 tar -xvf ..
新手版Centos7下安装Hadoop2.7.6单机
qq_878057221
06-26 582
本人刚开始安装的时候，看了很多篇的博客，跟着一步步做结果还是出现很多问题，主要是有的步骤、配置他们都没有解释清楚，这对于刚接触Linux系统的新手、小白来说，简直就是个巨坑。所有我特意在这里写了一篇比较全面的博客，希望可以帮助没有多少基础的小伙伴。
"Hadoop-Spark集群环境搭建及NGC2266数据处理实践
本文主要介绍了团队在《大数据原理与应用》课程中的实验作业，内容包括Hadoop-Spark集群环境的搭建和NGC2266数据的处理。团队成员包括湖人总冠军、钟冠霆、陈华志、谢雨辰、皮心怡和朱智涛，所属班级为17软件一班，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值