Hadoop 完全分布式安装与部署

最新推荐文章于 2024-05-06 11:14:59 发布
最新推荐文章于 2024-05-06 11:14:59 发布
阅读量142 收藏 1
点赞数
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Little_fxc/article/details/110390589
版权

title: Hadoop 完全分布式安装与部署
date: 2020-09-03 16:10:22
categories: 大数据
tags: hadoop,大数据

文章目录

Hadoop 2.7.4 完全分布式安装与部署

Hadoop官方指导传送门 传送门

服务器准备

服务器规划，提供 3 台服务器，OS 为centos 7

主机名IP预备分配服务
centos-node1192.168.99.101DataNode,NodeManager,NameNode
centos-node2192.168.99.102DataNode,NodeManager,SecondaryNameNode
centos-node3192.168.99.103DataNode,NodeManager,ResourceManager,HistoryServer

修改主机名

$ hostnamectl set-hostname centos-node1

修改服务器静态IP

可以使用 netstat -r 来查询网关如下图所示：

image-20200911142643578

然后将 dhcp 改为 静态IP

$ vim /etc/sysconfig/network-scripts/ifcfg-enp0s8

完全配置如下所示：

TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
#BOOTPROTO="dhcp"
BOOTPROTO="static"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="enp0s8"
UUID="5b4ea2f4-a5af-4fac-8793-81692730dad9"
DEVICE="enp0s8"
ONBOOT="yes"

# 新增
GATEWAY=192.168.99.0  # 修改网关，虚拟机需要注意修改nat
IPADDR=192.168.99.101 # 分配IP地址
NETMASK=255.255.255.0 # 子网掩码
DNS1=223.5.5.5        # 使用阿里公共DNS1
DNS2=223.6.6.6        # 使用阿里公共DNS2

修改 hosts

$ vi /etc/hosts
# 添加
192.168.99.101 centos-node1
192.168.99.102 centos-node2
192.168.99.103 centos-node3

安装 JDK8

$ vi /etc/profile
# 添加
JAVA_HOME=/usr/local/java/
JRE_HOME=$JAVA_HOME/jre
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
export JAVA_HOME JRE_HOME PATH CLASSPATH

增加 dhfs 用户

通常，建议HDFS和YARN以单独的用户身份运行。

在大多数安装中，HDFS进程以 “hdfs” 执行。YARN通常使用 “yarn” 帐户

$ adduser hdfs
$ passwd hdfs # 修改密码

为 /etc/sudoers添加如下图所示：

image-20200911170014063

设置 SSH 无密码登录

  1. 3 台服务器全部设置

    $ ssh-keygen -t rsa

  2. 各自分配 ssh key

    $ ssh-copy-id centos-node1
$ ssh-copy-id centos-node2
$ ssh-copy-id centos-node3

安装部署 Hadoop

切换至 hdfs 用户

$ su - hdfs

下载

$ curl -O https://archive.apache.org/dist/hadoop/common/hadoop-2.7.4/hadoop-2.7.4.tar.gz

解压

$ tar -zxf hadoop-2.7.4.tar.gz  -C /opt/hadoop-2.7.4
$ ln -s /opt/hadoop-2.7.4 /usr/local/hadoop
$ chown -R hdfs /opt/hadoop-2.7.4

修改环境变量

$ sudo vi /etc/profile
# 修改为
JAVA_HOME=/usr/local/java/
JRE_HOME=$JAVA_HOME/jre
HADOOP_HOME=/usr/local/hadoop
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin

export JAVA_HOME JRE_HOME PATH CLASSPATH HADOOP_HOME

修改 Hadoop 配置

这里我们进入$HADOOP_HOME文件夹开始操作

$ mkdir -p $HADOOP_HOME/hdfs/data
$ mkdir -p $HADOOP_HOME/tmp

配置hadoop-env.sh

$ sudo vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh

增加 或 修改

export JAVA_HOME=/usr/local/java/

配置core-site.xml

$ sudo vi $HADOOP_HOME/etc/hadoop/core-site.xml

configuration配置如下

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://centos-node1:9000</value>
        <description>HDFS的URI，文件系统://namenode标识:端口号</description>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
        <description>namenode上本地的hadoop临时文件夹</description>
    </property>
    <property>     
	    <name>hadoop.proxyuser.root.hosts</name>     
	    <value>*</value>
    </property> 
    <property>     
	    <name>hadoop.proxyuser.root.groups</name>    
      <value>*</value> 
    </property>
    <property>     
    	<name>hadoop.proxyuser.zhaoshb.hosts</name>     
    	<value>*</value> 
    </property> 
    <property>     
    	<name>hadoop.proxyuser.zhaoshb.groups</name>     
    	<value>*</value> 
    </property>
</configuration>

配置说明：

fs.defaultFS为NameNode的地址。

hadoop.tmp.dir为hadoop临时目录的地址。默认情况下，NameNode和DataNode的数据文件都会存在这个目录下的对应子目录下。

配置hdfs-site.xml

$ sudo vi $HADOOP_HOME/etc/hadoop/hdfs-site.xml

内容如下：

<configuration>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>centos-node2:50090</value>
    </property>
    <property>
        <name>dfs.http.address</name>
        <value>centos-node1:50070</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/hdfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/hdfs/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
</configuration>

配置说明：

dfs.namenode.secondary.http-address是指定secondaryNameNode的http访问地址和端口号，因为在规划中，我们将centos-node2规划为SecondaryNameNode服务器。

dfs.http.address配置的是本机默认的dfs地址，有些服务器可以不用配置，我的试过了，必须加上，不然后续网页打不开。

dfs.namenode.name.dir 指定name文件夹。

dfs.datanode.data.dir 指定data文件夹。

dfs.datanode.data.dir 指定副本数，一般小于服务器数，我们设置为3

配置 slaves

在hadoop2.x中叫做slaves，在3.x版本中改名workers。 用来指定HDFS上有哪些DataNode节点，以及各个节点使用ip地址或者主机名，用换行分隔。

$ sudo vi $HADOOP_HOME/etc/hadoop/slaves

这里我们就使用主机名

centos-node1
centos-node2
centos-node3

配置yarn-site.xml

$ sudo vi $HADOOP_HOME/etc/hadoop/yarn-site.xml

配置如下

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>centos-node3</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>106800</value>
  	</property>
        <name>yarn.application.classpath</name>
    		<value>
            /opt/hadoop-2.7.4/etc/hadoop,
            /opt/hadoop-2.7.4/share/hadoop/common/*,
            /opt/hadoop-2.7.4/share/hadoop/common/lib/*,
            /opt/hadoop-2.7.4/share/hadoop/hdfs/*,
            /opt/hadoop-2.7.4/share/hadoop/hdfs/lib/*,
            /opt/hadoop-2.7.4/share/hadoop/mapreduce/*,
            /opt/hadoop-2.7.4/share/hadoop/mapreduce/lib/*,
            /opt/hadoop-2.7.4/share/hadoop/yarn/*,
            /opt/hadoop-2.7.4/share/hadoop/yarn/lib/*
   		</value>
</configuration>

配置说明：

按照规划使用centos-node3做为 resourcemanager 使用yarn.log-aggregation-enable开启日志聚合，yarn.log-aggregation.retain-seconds配置聚集的日志在HDFS上最多保存多长时间。

配置mapred-site.xml

$ sudo vi $HADOOP_HOME/etc/hadoop/mapred-site.xml

配置如下：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>yarn.app.mapreduce.am.env</name>
        <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
    <property>
        <name>mapreduce.map.env</name>
        <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
    <property>
        <name>mapreduce.reduce.env</name>
        <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
    
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>centos-node3:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>centos-node3:19888</value>
    </property>
</configuration>

配置说明：

mapreduce.framework.name设置mapreduce任务运行在yarn上。

mapreduce.jobhistory.address是设置mapreduce的历史服务器安装在centos-node3上。

mapreduce.jobhistory.webapp.address是设置历史服务器的web页面地址和端口号。

yarn.app.mapreduce.am.env,mapreduce.map.env,mapreduce.reduce.env需要设置为HADOOP_MAPRED_HOME=${HADOOP_HOME}，否则在运行yarn程序的时候会出现jar包未找到的错误。

修改防火墙

# 查看当前区域
$ firewall-cmd --get-active-zones
# 新建一个自定义服务
$ firewall-cmd --new-service=hadoop --permanent
$ firewall-cmd --service=hadoop --add-port 4000/tcp --permanent
$ firewall-cmd --service=hadoop --add-port 8088/tcp --permanent
$ firewall-cmd --service=hadoop --add-port 50090/tcp --permanent
$ firewall-cmd --service=hadoop --add-port 50070/tcp --permanent
$ firewall-cmd --service=hadoop --add-port 10020/tcp --permanent
$ firewall-cmd --service=hadoop --add-port 19888/tcp --permanent
# 不中断服务的重新加载
$ firewall-cmd --reload
$ firewall-cmd --add-service=hadoop
# 将当前防火墙的规则永久保存；
$ firewall-cmd --runtime-to-permanent

启动 Hadoop 集群

完成上述所有必要的配置后，将文件分发到所有服务器的HADOOP_CONF_DIR目录下/usr/local/hadoop/etc/hadoop。在所有计算机上，该目录应该是相同的目录。

注意：启动和停止单个hdfs相关的进程使用的是"hadoop-daemon.sh"脚本，而启动和停止yarn使用的是"yarn-daemon.sh"脚本。

格式化

要启动Hadoop集群，需要同时启动HDFS和YARN集群。 首次启动HDFS时，必须对其进行格式化。将新的分布式文件系统格式化为hdfs.

$ $HADOOP_HOME/bin/hdfs namenode -format <群集名称>

集群名称可以不填写，不出意外，执行完成后$HADOOP_HOME/hdfs中就有东西了。

启动 HDFS

如果配置了slaves和ssh互信我们可以

$ $HADOOP_HOME/sbin/start-dfs.sh

启动 YARN

如果配置了workers和ssh互信我们可以

$ $HADOOP_HOME/sbin/start-yarn.sh

启动 ResourceManager

规划在centos-node3上，因此我们在centos-node3上执行

$ $HADOOP_HOME/sbin/yarn-daemon.sh start resourcemanager

启动 HistoryServer

规划在centos-node3上，因此我们在centos-node3上执行

$ $HADOOP_HOME/sbin/mr-jobhistory-daemon.sh start historyserver

查看HDFS Web页面

位于centos-node1的50070端口:http://centos-node1:50070/

image-20200913152341967

查看YARN Web 页面

位于centos-node3的8088端口:http://centos-node3:8088/

image-20200913152504612

查看历史WEB页面

位于centos-node3的19888端口:http://centos-node3:19888/

image-20200913152549303

测试

为了测试我们使用 wordcount 来测试

  1. 新建文件

    $ sudo vi /opt/word.txt

  2. 文本内容

    hadoop mapreduce hive
hbase spark storm
sqoop hadoop hive
spark hadoop

  3. 新建hadoop里文件夹demo

    $ hadoop fs -mkdir /demo

  4. 文件写入

    $ hdfs dfs -put /opt/word.txt /demo/word.txt

  5. 执行输入到hadoop的/output

    $ yarn jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.4.jar wordcount /demo/word.txt /output

  6. 查看文件列表

    $ hdfs dfs -ls /output

    Found 2 items
-rw-r--r--   3 root supergroup          0 2020-09-13 16:01 /output/_SUCCESS
-rw-r--r--   3 root supergroup         60 2020-09-13 16:01 /output/part-r-00000

  7. 查看文件中内容

    $ hdfs dfs -cat /output/part-r-00000

    hadoop  3
hbase   1
hive    2
mapreduce       1
spark   2
sqoop   1
storm   1
一年春又来
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
安装和配置hadoop2.7.4集群
ho_ll_ow的博客
09-18 973
安装和配置Hadoop2.7.4集群 首先将Windows上的两个压缩包上传到虚拟机的/opt/mysoft/ 下 第一步： 解压：tar -zxvf hadoop-2.7.4.tar.gz 重命名:mv hadoop-2.7.4 hadoop 第二步： cd /opt/mysoft/hadoop mkdir logs mkdir tmp mkdir -p tmp...
hadoop相关软件下载地址
m0_51679196的博客
08-28 1661
具体位置可能有所变更
Hadoop 2.7.4 完全分布式安装与部署
Little_fxc的博客
09-13 1997
title: Hadoop 完全分布式安装与部署 date: 2020-09-03 16:10:22 categories: 大数据 tags: hadoop 文章目录Hadoop 完全分布式安装与部署服务器准备修改主机名修改服务器静态IP修改 hosts安装 JDK8增加 dhfs 用户设置 SSH 无密码登录安装部署 Hadoop切换至 hdfs 用户下载解压修改环境变量修改 Hadoop 配置配置hadoop-env.sh配置core-site.xml配置hdfs-site.xml配置 sla.
Windows下安装hadoop2.7.4
生命不息，代码不止
12-05 2849
该压缩包是已经简化配置后的hadoop2.7.4下载地址文件分享 (weiyun.com)在系统变量中添加在path中添加把/etc/hadoop/ 下目录的相关配置文件都配置一遍，直接赋值下面内容即可①yarn-site.xml ②hdfs-site.xml ③core-site.xml 4、复制一份mapred-site.xml.template，并重命名为mapred-site.xml，修改里面的内容 选做：配置JAVA_HOME的路径变量到/etc/hadoop/hadoop-env.cmd 情况1
Hadoop完全分布式搭建（超详细，傻瓜式安装）_hadoop完全分布式集群搭建
最新发布
afagagagaa的博客
05-06 504
输入代码后根据提示输入yes或者密码。
Ubuntu14.04下安装Hadoop2.7.4
Yummy
08-19 3622
本文将讲解在Ubuntu下安装Hadoop2.7.4。
hadoop完全分布式部署
09-25
hadoop完全分布式安装整合hive，亲自在实际服务器安装测试成功
部署全分布模式Hadoop集群 实验报告
04-18
部署全分布模式Hadoop集群 实验报告一、实验目的 1. 熟练掌握 Linux 基本命令。 2. 掌握静态 IP 地址的配置、主机名和域名映射的修改。 3. 掌握 Linux 环境下 Java 的安装、环境变量的配置、Java 基本命令的使用。 ...
Hadoop完全分布式集群总结
01-07
文章目录Hadoop完全分布式集群搭建一、新建虚拟机二、规划集群与服务1、逻辑结构2、物理结构3、总结构三、配置集群1、主节点基础网络配置1.1、配置固定ip地址1.2、修改主机名1.3、配置dns1.4、配置 ip 地址和主机名...
Linux下安装Hadoop完全分布式
10-11
Hadoop的安装非常简单，可以在官网上下载到最近的几个版本，最好使用稳定版。本例在3台机器集群安装
Hadoop完全分布式配置.txt
11-05
Hadoop的安装分为单机方式、伪分布式方式和完全分布式方式。 a. 单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件...
hadoop-2.7.4.tar.gz
09-07
本人亲自编译，windows系统编译hadoop源码比较麻烦，亲测有效
cordova-study:Cordova学习记录，Cordova插件的使用，热更新、media、device、集成x5内核等等
05-11
cordova-study Cordova学习记录，Cordova插件的使用，热更新、media、device、集成x5内核等等。 目录简介 hooks：存放自定义cordova命令的脚本文件。每个project命令都可以定义before和after的Hook，比如：before_build、after_build platforms：平台目录，各自的平台代码就放在这里，可以放一下平台专属的代码 plugins：Cordova插件目录，安装的插件会放在这里，cordova提供的原生API也是以插件的形式提供的 www：源代码目录。在cordova prepare的时候会被copy到各个平台工程的assets\www目录中 config.xml：主要是cordova的一些配置，比如：项目使用了哪些插件、应用图标icon和启动页面 常用命令 # 创建Cordova项目 cordova crea
IOS 热更新，实时代码更新，动态更新，动态库framework
12-18
IOS 热更新，实时代码更新，动态更新，动态库framework http://blog.csdn.net/jianrenbubai/article/details/50351507
hadoop-2.7.4编译版本
11-02
hadoop2.7.4 linux编译版本 支持snappy。linnux部署无须编译
Hadoop 2.7.4 Windows 7 64位 编译bin（包含winutils.exe, hadoop.dll等）
08-17
为学习Hadoop亲手在Windows 7（64bit）编译
[Android教程] Cordova开发App入门（二）使用热更新插件
weixin_30663471的博客
06-13 112
　　前言 　　不知各位遇没遇到过，刚刚发布的应用，突然发现了一个隐藏极深的“碧油鸡(BUG)”，肿么办!肿么办!肿么办!如果被老板发现，一定会让程序员哥哥去“吃鸡”。但是想要修复这个“碧油鸡”，就必须要重新打包、重新测试、重新部署等等。重点是在这个重新打包、测试、部署的时候，可能已经有用户发现了这个“碧油鸡”，接下来就是承受用户的投诉、举报 + 漫骂。如果这仅仅只是一个无关痛痒的“碧油鸡”，那还...
Hadoop2.7.4集群搭建
Demon的博客
11-13 1075
HDFS：分布式文件系统 MAPREDUCE：分布式运算程序开发框架 HIVE：基于HADOOP的分布式数据仓库，提供基于SQL的查询数据操作 HBASE：基于HADOOP的分布式海量数据库 ZOOKEEPER：分布式协调服务基础组件 Mahout：基于mapreduce/spark/flink等分布式运算框架的机器学习算法库 Oozie：工作流调度框架 Sqoop：数据导入导出...
Cordova热更新（二、更新遇到的问题）
xiaoyu的博客
07-12 4254
今天打开app发现，app热更新遇到问题了：问题描述：1，使用的是自动更新的方式，热更新在app的config.xml里面配置如下：&lt;chcp&gt; &lt;auto-download enabled="true" /&gt; &lt;auto-install enabled="true" /&gt; &lt;native-interface...
Hadoop伪分布式安装与配置指南
“Linux上的Hadoop伪分布式安装及配置步骤，涉及Hadoop的三种运行模式：本地模式、伪分布模式和完全分布模式。” 在Hadoop的世界里，了解和掌握不同的运行模式对于开发者和管理员来说至关重要。以下是关于这些模式...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值