hadoop集群的搭建与使用

最新推荐文章于 2024-03-01 15:02:21 发布
最新推荐文章于 2024-03-01 15:02:21 发布
阅读量520 收藏 2
点赞数 1
分类专栏： 大数据 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wang199316/article/details/88663485
版权

安装前准备

  • 配置yum源：即将linux自身的yum源替换为阿里的yum源，以便于快速下载软件包等。
  1. 下载阿里的yum源
    #wget http://mirrors.aliyun.com/repo/Centos-7.repo
    下面标红的是新下载的阿里yum源：
    在这里插入图片描述
  2. 将原来的repo进行备份：
    #mv CentOS-Base.repo CentOS-Base.repo.bak
    将下载的阿里的repo文件覆盖原来的repo
    #mv Centos-7.repo CentOS-Base.repo
  3. 执行yum源更新命令
    #yum clean all 
#yum makecache 
#yum update

Hadoop集群搭建

1. 必备软件包

VMware 12、Centos 7 64bit、hadoop 2.7.4、jdk 1.8

2. 集群简介

HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。
HDFS集群：负责海量数据的存储，集群中的角色主要有 NameNode / DataNode
YARN集群：负责海量数据运算时的资源调度，集群中的角色主要有ResourceManager /NodeManager
这里，我们使用虚拟机来搭建hadoop集群。集群搭建的三个节点(虚拟机)的描述如下：

192.168.52.128  master  => NameNode  SecondaryNameNode ResourceManager
192.168.52.129  node1   =>  DataNode   NodeManager
192.168.52.130  node2   =>  DataNode   NodeManager

3. 搭建步骤

  • 3.1 linux服务器配置

    • 配置三个节点的ip地址
      #vim /etc/sysconfig/network-scripts/ifcfg-ens33
      在这里插入图片描述
    • 配置三个节点的主机名
      #vim /etc/hostname
      在这里插入图片描述
    • 配置内网域名的映射
      # vim /etc/hosts
      在这里插入图片描述
    • 配置主机之间的ssh免密登录
      • 在master上生成key，并依次拷贝到各个主机上
        #ssh-keygen
      • 复制从master复制到node1、node2上:
      	#ssh-copy-id node1
	#ssh-copy-id node2
      • 验证：在master主机上ssh其他节点，如果无需输入密码，则表示配置成功
        #ssh node1

  • 3.2 jdk环境安装
    首先在master节点上安装jdk环境。

    • 解压jdk安装包，并配置环境变量
     #tar -zxvf jdk-8u151-linux-x64.tar.gz
 #vim /etc/profile

    在文件尾部添加如下内容：

    export JAVA_HOME=/opt/jdk1.8.0_151
export PATH=$PATH:$JAVA_HOME/bin
    • 使环境变量生效
      #source /etc/profile
      -验证jdk是否安装成功
      #java -version
      在这里插入图片描述
    • 将jdk包传送到其他两个节点上
    #scp -r /opt/jdk1.8.0_151/ node1:/opt/jdk1.8.0_151/
#scp -r /opt/jdk1.8.0_151/ node2:/opt/jdk1.8.0_151/
    • 同样要在其他节点上，使得配置jdk环境变量。

  • 3.3 hadoop的安装部署
    先在master节点上配置相关文件。

    • 3.3.1 将hadoop-2.7.4.tar.gz上传并解压到/opt/下
    	#cd /opt
	#tar -zxvf hadoop-2.7.4.tar.gz
    • 3.3.2 将hadoop添加到环境变量中
      #vim /etc/profile
      在文件尾部添加下面内容:
      在这里插入图片描述
      使环境变量生效: #source /etc/profile
      注意：#echo $HADOOP_HOME就是没有结果，现在只能配置~/.bash_profile，在PATH加上hadoop的路径
      在这里插入图片描述
      使环境变量生效：# source ~/.bash_profile
      参考：http://blog.csdn.net/tucailing/article/details/9162011/
    • 3.3.3 将master节点上的/etc/profile文件传送到其他两个节点上
    	#scp -r /etc/profile node1:/etc/profile
    #scp -r /etc/profile node2:/etc/profile
    • 3.3.4 修改6个相关配置文件
      在这里插入图片描述
      • 1)修改/opt/hadoop-2.7.4/etc/hadoop/hadoop-env.sh文件
        #vim hadoop-env.sh
        将export JAVA_HOME=${ JAVA_HOME } 修改成下面jdk的安装地址
        在这里插入图片描述
      • 2)修改/opt/hadoop-2.7.4/etc/hadoop/core-site.xml文件
        #vim core-site.xml
          <configuration>
      <!--HDFS默认路径名称-->
      <property>
              <name>fs.defaultFS</name>
              <value>hdfs://master:9000</value>
      </property>
      <!--Hadoop临时存放路径-->
      <property>
              <name>hadoop.tmp.dir</name>
              <value>/opt/hadoop/tmp</value>
      </property>
  </configuration>
      • 3)修改/opt/hadoop-2.7.4/etc/hadoop/yarn-site.xml文件
        #vim yarn-site.xml
          <configuration>
   		    <!--Site specific YARN configuration properties-->
   	        <!--指定主机名标识符-->
   	        <property>
   	                <name>yarn.resourcemanager.hostname</name>
   	                <value>master</value>
   	        </property>
   	        <property>
   	                <name>yarn.nodemanager.aux-services</name>
   	                <value>mapreduce_shuffle</value>
   	        </property>
   	</configuration>
      • 4)修改/opt/hadoop-2.7.4/etc/hadoop/hdfs-site.xml文件
        #vim hdfs-site.xml
      	<configuration>
	        <!--数据副本数量，根据HDFS台数设置，默认3份-->
	        <property>
	                <name>dfs.replication</name>
	                <value>3</value>
	        </property>
	        <property>
	                <name>dfs.secondary.http.address</name>
	                <value>master:50090</value>
	        </property>
	</configuration>
      • 5)修改/opt/hadoop-2.7.4/etc/hadoop/mapred-site.xml文件
        由于没有mapred-site.xml文件，则需将mapred-site.xml.template的内容复制到mapred-site.xml中
        #cp mapred-site.xml.template mapred-site.xml
        #vim mapred-site.xml
        <configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>
      • 6)修改/opt/hadoop-2.7.4/etc/hadoop/slaves文件
        #vi slaves
        在这里插入图片描述
    • 将配置好的hadoop分别传送到其他两个节点上
      #scp -r /opt/hadoop-2.7.4 node2:/opt/hadoop-2.7.4
      #scp -r /opt/hadoop-2.7.4 node2:/opt/hadoop-2.7.4
    • 使node1和node2的/etc/profile环境变量生效

  • 3.4 启动集群并查看集群是否部署成功

    • 1)在master节点上对namenode节点进行初始化
      # cd /opt/hadoop-2.7.4
      # bin/hdfs namenode -format
    • 2)分别启动HDFS和YARN
     	#sbin/start-dfs.sh
    #sbin/start-yarn.sh

    • 3)使用jps查看hadoop是否启动成功
      # jps
      在master（即namenode节点）上使用jps查看：
      在这里插入图片描述
      在其他两个节点（即datanode节点）上使用jps查看：
      在这里插入图片描述

    • 4)查看集群状态
      #hdfs dfsadmin -report
      在这里插入图片描述

    • 5)在浏览器上访问hadoop集群的web页面

      http://192.168.52.128:50070 （HDFS管理界面）
http://192.168.52.128:8088 （MR管理界面）

      在这里插入图片描述
      在这里插入图片描述
      上面结果已经表明hadoop集群部署成功。

  • 3.5 集群测试

  1. 上传文件到hadoop集群上、从集群上下载文件

  • 1.1 在node1节点上上传文件到hadoop的根目录
    在这里插入图片描述
    如果出现出现下面的情况：
    ①INFO hdfs.DFSClient: Exception in createBlockOutputStream java.net.NoRouteToHostException: No route to host
    解决办法：关闭所有节点的防火墙
    ②INFO hdfs.DFSClient: Exception in createBlockOutputStream java.net.ConnectException: Connection refused
    这说明node1上datanode没有运行。使用jps查看了，果然没有运行。
    在这里插入图片描述
    解决办法：
    方法1：启动节点node1上的datanode
    # hadoop-daemon.sh start datanode
    方法2：在master节点上关闭所有节点的进程，然后再重新启动

  • 1.2 上传的两个文件都可以在浏览器客户端上显示和下载
    3.

  • 1.3 从hadoop集群上下载文件
    # hadoop fs -get /xxx
    在这里插入图片描述

  1. 使用hadoop自带的mapreduce程序案例(wordcount)来统计文本单词数量
    1）在hadoop根目录下创建一个文件夹，即将使用的文件
    #hadoop fs -mkdir -p /WordCount/input
    2）创建并上传文件
    # hadoop fs -put a.txt b.txt /WordCount/input
    在web页面上可以看到刚刚上传的文件
    在这里插入图片描述
    3)运行一个统计文本中单词数的mapreduce程序
	# /opt/hadoop-2.7.4/share/hadoop/mapreduce
	# hadoop jar hadoop-mapreduce-examples-2.7.4.jar wordcount /WordCount/input /WordCount/output

在这里插入图片描述
查看统计的结果：
在这里插入图片描述

HDFS的shell常用操作命令

<![if supportMisalignedColumns]> <![endif]>
-help             功能：输出这个命令参数手册
-ls                  功能：显示目录信息
示例： hadoop fs -ls hdfs://hadoop-server01:9000/
备注：这些参数中，所有的hdfs路径都可以简写
-->hadoop fs -ls /   等同于上一条命令的效果
-mkdir              功能：在hdfs上创建目录
示例：hadoop fs  -mkdir  -p  /aaa/bbb/cc/dd
-moveFromLocal            功能：从本地剪切粘贴到hdfs
示例：hadoop  fs  - moveFromLocal  /home/hadoop/a.txt  /aaa/bbb/cc/dd
-moveToLocal              功能：从hdfs剪切粘贴到本地
示例：hadoop  fs  - moveToLocal   /aaa/bbb/cc/dd  /home/hadoop/a.txt
--appendToFile  功能：追加一个文件到已经存在的文件末尾
示例：hadoop  fs  -appendToFile  ./hello.txt  hdfs://hadoop-server01:9000/hello.txt
可以简写为：
Hadoop  fs  -appendToFile  ./hello.txt  /hello.txt
-cat  功能：显示文件内容 
示例：hadoop fs -cat  /hello.txt
-tail                 功能：显示一个文件的末尾
示例：hadoop  fs  -tail  /weblog/access_log.1
-text                  功能：以字符形式打印一个文件的内容
示例：hadoop  fs  -text  /weblog/access_log.1
-chgrp-chmod-chown功能：linux文件系统中的用法一样，对文件所属权限
示例：hadoop  fs  -chmod  666  /hello.txt
     hadoop  fs  -chown  someuser:somegrp   /hello.txt
-copyFromLocal    功能：从本地文件系统中拷贝文件到hdfs路径去
示例：hadoop  fs  -copyFromLocal  ./jdk.tar.gz  /aaa/
-copyToLocal      功能：从hdfs拷贝到本地
示例：hadoop fs -copyToLocal /aaa/jdk.tar.gz
-cp              功能：从hdfs的一个路径拷贝hdfs的另一个路径
示例： hadoop  fs  -cp  /aaa/jdk.tar.gz  /bbb/jdk.tar.gz.2
-mv                     功能：在hdfs目录中移动文件
示例： hadoop  fs  -mv  /aaa/jdk.tar.gz  /
-get              功能：等同于copyToLocal，就是从hdfs下载文件到本地
示例：hadoop fs -get  /aaa/jdk.tar.gz
-getmerge             功能：合并下载多个文件
示例：比如hdfs的目录 /aaa/下有多个文件:log.1, log.2,log.3,…
hadoop fs -getmerge /aaa/log.* ./log.sum
-put                功能：等同于copyFromLocal
示例：hadoop  fs  -put  /aaa/jdk.tar.gz  /bbb/jdk.tar.gz.2
-rm                功能：删除文件或文件夹
示例：hadoop fs -rm -r /aaa/bbb/
-rmdir                 功能：删除空目录
示例：hadoop  fs  -rmdir   /aaa/bbb/ccc
-df               功能：统计文件系统的可用空间信息
示例：hadoop  fs  -df  -h  /
-du 功能：统计文件夹的大小信息
示例：hadoop  fs  -du  -s  -h /aaa/*
-count         功能：统计一个指定目录下的文件节点数量
示例：hadoop fs -count /aaa/
-setrep                功能：设置hdfs中文件的副本数量
示例：hadoop fs -setrep 3 /aaa/jdk.tar.gz
<这里设置的副本数只是记录在namenode的元数据中，是否真的会有这么多副本，还得看datanode的数量>

参考链接

http://blog.csdn.net/codepeak/article/details/13170147
https://www.jianshu.com/p/1b0ef092bc08
http://blog.csdn.net/wl0909/article/details/53354999
https://www.cnblogs.com/dopeter/p/4612232.html
http://www.linuxidc.com/Linux/2016-11/137547.htm
http://blog.csdn.net/pucao_cug/article/details/71698903
其中，部分内容来自传播博客培训班的大数据课程视频

small王
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
详解搭建ubuntu版hadoop集群
09-15
本篇文章主要介绍了详解搭建ubuntu版hadoop集群，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
三台节点分别安装JDK
Manonll的博客
06-15 220
hadoop的jdk部署
【大数据项目学习】第三章：集群节点 JDK 安装
一个bug修一年的博客
01-14 158
第三章：JDK 安装 一个初学者的大数据学习过程 文章目录第三章：JDK 安装1. 下载 JDK2. 解压 JDK3. 创建软连接3.4 配置环境变量3.4.1 修改/etc/profile 文件3.4.2 修改.bashrc 文件3.5 source 使配置文件生效3.6 检查 JDK 是否安装成功3.7 JDK 安装包同步到其他节点 1. 下载 JDK Zookeeper 是由 Java 编写，运行在 JVM，所以需要提前安装 JDK 运行环境。 可以到官网下载对应版本的 jdk，这里选择安装 j
【数仓】Hadoop软件安装及使用（集群配置）
最新发布
不积跬步无以至千里，不积小流无以成江海。一个喜欢学习分享的程序员
03-01 1220
Hadoop集群环境配置，环境准备以及实操步骤，详细介绍Hadoop集群的各个操作步骤
Hadoop集群搭建超详细说明
nick_huangzheng的博客
09-07 4636
最近随着公司业务的发展，在一波重构中技术层面主要的目标是双中台建设，由是就有了本文。 #数据中台 ##1、环境准备 ###1.1、前置条件 ####Linuxwget #####rpm安装 下载wget的RPM包： http://mirrors.163.com/centos/6.8/os/x86_64/Packages/wget-1.12-8.el6.x86_64.rpm 执行rpm-ivhwget-1.12-8.el6.x86_64.rpm...
【hadoop】解决浏览器不能访问Hadoop的50070、8088等端口
热门推荐
xiangxiang613的专栏
08-26 4万+
问题： 在虚拟机启动hadoop集群后，在window浏览器无法访问http://master:50070、http://master:8088等集群监控界面。 问题排查： 首先在windows里ping一下是否能通： 若不能ping通，试一下ping IP地址，这里master的IP地址为192.168.128.130. 若IP地址能ping通，则试一下在浏览器中将master换成IP地址访问一下： 如果能利用IP访问，那么可以在Windows里面C:\Windows\System32\drive
自学大数据第七天~Hadoop集群的部署与使用
Gavin
03-12 294
我们来分析一下啊,由于要储存海量数据,DataNode的数量肯定要很多,如何找到这些海量数据就需要NameNode,所以,NameNode所在的机器要有很高的可靠性,而DataNode所在的机器由于备份机制的存在,所以没有那么高要求;对于小集群,NameNode跟JobTracker是可以运行在一个机器上的,但是随着集群中数据的增加,NameNode跟JobTracker是要运行在不同机器上的;其里面有很多元数据,为了提高数据的访问速度,这些数据都是直接保存在内存中;两个4核或8核CPU。
hadoop集群搭建(超级详细)
10-11
超详细集群搭建教程(从虚拟机安装到集群搭建完成，集群搭建成功验证)，每一个步骤都有，照做即可。 内有集群搭建所需安装包：hadoop2.2.0，zookeeper3.4.5
hadoop集群搭建教程
03-07
在虚拟机上面搭建hdfs 集群亲测可用 记得 修改ip地址就行
hadoop集群搭建步骤
01-10
该文档提供了linux环境中搭建hadoop集群（大数据）的步骤，个人认为比较详细，供大家学习
Hadoop集群搭建详细简明教程
05-16
该文件是：Hadoop集群搭建详细简明教程，简单明了，易于上手。
Hadoop集群启动后利用Web界面管理HDFS
qq_27052367的博客
10-10 1万+
Hadoop集群启动后，可以通过自带的浏览器Web界面查看HDFS集群的状态信息，访问IP为NameNode所在服务器的IP地址，在浏览器地址栏中输入192.168.107.131：50070即可打开HDFS的web界面。例如我的NameNode所在服务器的IP地址为192.168.107.131。下面测试版本为Hadoop3.0以后的。
hadoop 查看集群的网页监控状态
CD
12-19 1万+
一、查看集群的网页监控状态 1.查看hdfs集群状态，也就是namenode的访问地址 配置：hdfs-site.xml--dfs.namenode.http-address 默认访问地址：http://namenode的ip:50070 2.如果配置了secondary namenode，那么可以查看secondary namenode的集群状态 配置：hdfs-s
大数据学习1 - hadoop环境搭建及操作
weixin_52491597的博客
11-30 3053
大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。[19]在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 [1]中大数据指不用随机分析法（抽样调查）这样捷径，而采用所有数据进行分析处理。Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。
hadoop集群的简单运行流程
qq_74585474的博客
09-28 294
HDFS是Hadoop的文件系统，它能够将大量的数据划分成更小的块，并将这些块分发到集群中的各个节点上进行并行处理。在Reduce阶段，Reducer任务接收到相同城市的中间键值对，计算这些城市的人口之和，然后将最终结果写入输出文件中。：使用适当的输入格式读取每个数据源中的数据。这只是数据分发的一个简单示例代码，实际的应用中可能需要更多的配置和处理步骤，例如处理大量的数据文件、处理数据的复杂逻辑等。然后，在Reduce阶段，Reducer任务接收到相同id的中间键值对，并将它们按照需要的方式进行整合。
大数据平台搭建——hadoop集群（基于CentOS-7）的搭建
m0_73509128的博客
08-13 4946
本次hadoop集群搭建的虚拟机采用的软件为VMware Workstation Pro，用的镜像文件为CentOS-7，此篇文章是为自己准备大数据比赛中的大数据平台搭建部分所写，故只针对搭建hadoop集群搭建的部分进行概述，前绪工作包括虚拟机的搭建读者可以阅读下面的文章自行进行安装。将主机上的hadoop文件传输到副机上去，这里可以先新建两个虚拟机并且和前面一样配置好相关信息，再在终端中输入：scp -r 源hadoop文件路径 机器用户名：目标路径位置后，即可传输，比较麻烦，
5. Hadoop集群操作
shield911的博客
09-27 5474
Hadoop集群操作：启动集群，监控集群，集群基本测试，停止集群以及集群常用脚本
Hadoop集群的搭建和使用
qq_21043585的博客
12-11 2657
文章目录Hadoop集群的搭建和使用1.实验目的2.Hadoop介绍3.实验环境4.集群搭建4.1修改主机名4.2修改host4.3配置ssh免密登录4.4安装Java5.安装Hadoop5.1下载hadoop5.2为 hadoop 设置系统环境变量5.3编辑 Hadoop 配置文件5.4验证Hadoop是否安装完成5.5分发Hadoop6.启动集群和 HDFS 文件系统的使用6.1格式化HDFS文件系统6.2启动集群6.3验证7.HDFS文件系统使用7.1命令行方式读写 hdfs8.通过java 程序读
Hadoop集群搭建
09-26
Hadoop集群搭建是一个开源的、可运行与Linux集群上的分布式计算平台。用户可以通过Hadoop存有基础环境的配置，包括虚拟机安装和Linux系统安装等步骤来搭建Hadoop集群。具体步骤如下： 1. 虚拟机的安装：首先安装虚拟机，创建所需的Linux虚拟机实例。 2. Linux系统安装： a. 环境准备：安装所需的软件和依赖项。 b. 虚拟机安装：在虚拟机中安装Linux操作系统。 3. Hadoop集群配置： a. 进入主节点配置目录：在主节点上进入Hadoop的配置目录。 b. 修改配置文件：根据需求修改core-site.xml、hdfs-site.xml和yarn-site.xml等配置文件。 c. 配置从节点：在每个从节点上进行相同的配置操作。 4. Hadoop集群测试：启动Hadoop集群并进行功能测试，确保集群正常运行。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值