Hadoop分布式安装（超详细）

最新推荐文章于 2024-05-13 22:23:21 发布
最新推荐文章于 2024-05-13 22:23:21 发布
阅读量1.2k 收藏 3
点赞数 1
文章标签： hadoop 分布式 centos
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43667449/article/details/108751410
版权

一，系统的基本配置

1，主机名的修改

修改/etc/sysconfig/network文件中HOSTNAME=hadoop1

2、IP地址配置

注意：如果虚拟机可以连接网络，可以跳过这个步骤

修改/etc/sysconfig/network-scripts/ifcfg-eth0，修改后的信息如下：

DEVICE="eth0"
#BOOTPROTO="dhcp"
BOOTPROTO="static"
HWADDR="00:0C:29:59:35:85"
IPV6INIT="no"
IPADDR=10.254.231.185 #本机ip,可用ifconfig查看
NETMASK=255.255.0.0  #子网掩码，可用ifconfig查看
GATEWAY=10.254.0.1  #网关，使用ip route show查看
DNS1=10.254.0.1  #可以与GATEWAY保持一致
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
UUID="9a604f00-87f1-4d6d-8cb3-6eac05a8ac01"

说明：仅加粗部分需要改动

3、主机名与ip地址做映射

修改/etc/hosts文件，修改后的信息如下：

#127.0.0.1   localhostlocalhost.localdomain localhost4 localhost4.localdomain4
#::1localhostlocalhost.localdomain localhost6 localhost6.localdomain6

10.254.231.185  hadoop1

用途：通过映射之后，局域网中，可以通过这个名字定位具体的计算机，集群各台服务器之间相互访问更方便。

4、防火墙关闭

chkconfig --level 0123456 iptables off

方便局域网中不同计算机之间的通信。（没有关闭防火墙的话，部分服务不能跨计算机进行访问，即部分端口是关闭的）

5、selinux关闭

（1）检查selinux状态
执行getenforce命令，如果结果显示 permissive 或disabled，你可以跳过这一步
（2）打开/etc/selinux/config文件，修改SELINUX=enforcing 为SELINUX=permissive
（3）重启系统

方便局域网中不同计算机之间的通信。
注意：SELinux 是部署在 Linux 系统中的安全增强功能模块，它通过对进程和文件资源采用 MAC（强制访问控制方式）为 Linux 系统提供了改进的安全性。

6、JDK安装

从网上下载jdk1.7以上64位linux版本。在此，我们安装jdk-7u60-linux-x64.rpm版本，下载后执行rpm -ivh jdk-7u60-linux-x64.rpm命令进行安装。然后用java -version 查看，如果显示下边信息，说明安装成功。

rpm -ivh jdk-7u60-linux-x64.rpm  #安装jdk命令

[root@hadoop1 ~]# java -version
java version "1.7.0_60"
Java(TM) SE Runtime Environment (build 1.7.0_60-b19)
Java HotSpot(TM) 64-Bit Server VM (build 24.60-b09, mixed mode)

在/etc/profile文件里添加JDK的环境变量:

export  JAVA_HOME=/usr/java/default
export  PATH=$PATH:$JAVA_HOME/bin

二、 安装Hadoop

1、Hadoop的下载和解压

我从网上下载Hadoop的安装包，然后在所有的主机上解压即可（本次我们下载的hadoop-2.6.0-cdh5.10.1.tar.gz）。解压命令如下：

tar –xvf hadoop-2.6.0-cdh5.10.1.tar.gz

2、Hadoop系统环境变量的配置

在所有主机的/etc/profile文件中添加下边的信息

export HADOOP_HOME=/root/hadoop-2.6.0-cdh5.10.1
export PATH=$PATH:$HADOOP_HOME/bin

注释：/root/hadoop-2.6.0-cdh5.10.1实我们Hadoop的解压路径

四、 配置Hadoop

在所有的主机上做以下配置（也可以在一台主机上配置完后，拷贝到其他主机）。所有配置的都在/root/hadoop-2.6.0-cdh5.10.1/etc/hadoop目录下（Hadoop解压后目录里的etc/hadoop里）。
注意：去到自己安装Hadoop安装目录里的/etc/hadoop里面打开下面文件
1、core-site.xml的配置

<configuration>
<property>
<name>fs.defaultFS</name> #hdfs访问的唯一入口
<value>hdfs://hadoop1:8020</value>
</property>
</configuration>

2、hdfs-site.xml文件的配置

<configuration>
<property>
<name>dfs.permissions.superusergroup</name>
<value>root</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/data/nn</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/data/dn</value>
</property>
<property>
<name>dfs.namenode.http-address</name>
<value>hadoop1:50070</value>
<description>
       The address and the base port on which the dfsNameNode Web UI will listen.
</description>
</property>
<property>
<name>dfs.secondary.http-address</name>
<value>hadoop2:50070</value>  #因为我们是装分布式，不改动这里，如果是伪分布式可以将这部分删除
<description>
       The address and the base port on which the dfsNameNode Web UI will listen.
</description>
</property>
</configuration>

3、mapred-site.xml配置

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

4、yarn-site.xml配置

<configuration>

<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop3</value>
</property>
<property>
<description>Classpath for typical applications.</description>
<name>yarn.application.classpath</name>
<value>
        $HADOOP_CONF_DIR,
        $HADOOP_COMMON_HOME/*,$HADOOP_COMMON_HOME/lib/*,
        $HADOOP_HDFS_HOME/*,$HADOOP_HDFS_HOME/lib/*,
        $HADOOP_MAPRED_HOME/*,$HADOOP_MAPRED_HOME/lib/*,
        $HADOOP_YARN_HOME/*,$HADOOP_YARN_HOME/lib/*
</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.local-dirs</name>
<value>/data/yarn/local</value>
</property>
<property>
<name>yarn.nodemanager.log-dirs</name>
<value>/data/yarn/logs</value>
</property>
<property>
<name>yarn.log.aggregation-enable</name>
<value>true</value>
</property>
<property>
<description>Where to aggregate logs</description>
<name>yarn.nodemanager.remote-app-log-dir</name>
<value>/var/log/hadoop-yarn/apps</value>
</property>
</configuration>

6、 添加JAVA_HOME到hadoop-env.sh文件里
添加内容如下：

export JAVA_HOME=/usr/java/default

7、 添加所有的主机名到slaves文件里，如下所示：

hadoop1
hadoop2
hadoop3

三，分布式安装配置

1、创建新的虚拟机

在前边的伪分布式中我们已经有一台虚拟机hadoop1，接下来我们可以在hadoop1的基础之上克隆两台虚拟机。废话不多说我们可是克隆新的虚拟机，克隆前先关闭hadoop1。

（1）右击上图中的hadoop1,在下拉框中点击“管理”，然后再点击“克隆”，进入克隆虚拟机向导界面：

在这里插入图片描述

（2）点击“下一步”按钮，结果如下图：
在这里插入图片描述

（3）点击“下一步”按钮，结果如下图：
在这里插入图片描述

（4）选择“创建完整克隆”，然后点击“下一步按钮”，结果如下图：
在这里插入图片描述

（5）在虚拟机名称栏，设置虚拟机名称，此处我们设置为hadoop2,位置栏设置虚拟机创建的位置，此处我们设置为G:\vm\hadoop2，然后点击“完成”按钮，等待创建。结果如下图。
在这里插入图片描述

（6）创建完成后，如下图：
在这里插入图片描述

7、点击“关闭”按钮。这个时候我们进入到G:\vm目录会看到多了一个hadoop2目录，此目录就是我们刚才创建的hadoop2虚拟机。
在这里插入图片描述

2、hadoop2虚拟机配置和整理

（1）设置hadoop2的内存为1G（根据自己电脑配置进行设置，因为我的电脑内存为8G，所以hadoop1配置2G,hadoop2和hadoop3分别配置1G）。

右击hadoop1,选择设置，进入如下界面

在这里插入图片描述

（2）进入hadoop2虚拟机，需要清除DataNode数据写入目录信息（因为目录里有DataNode的编号信息，如不清除，DataNode只能启动一个）。登陆hadoop2后切换到root账号，root密码为：cloudera(我们在创建hadoop1时设定的密码)。然后执行删除命令:

切换到root账号的命令：

su root
然后输入你的账号密码就可以切换到root账号

清楚DataNode数据写入目录信息命令：
rm -rf /data/dn/*

（3）修改hadoop2系统内部的主机名为hadoop2
详细步骤参考本文档第一大项中的第1小项。

（4）设置hadoop2的mac地址
因为是克隆hadoop1，克隆后的eth0的MAC地址跟hadoop1一样，所以我们需要重新设定mac地址。详细步骤如下：
执行下边命令删除/etc/udev/rules.d/70-persistent-net.rules，然后重启hadoop2。

rm -rf /etc/udev/rules.d/70-persistent-net.rules

Hadoop重启后

修改/etc/sysconfig/network-scripts/ifcfg-eth0 中HWADDR
跟/etc/udev/rules.d/70-persistent-net.rules中的ATTR{address}一样。

也就修改mac地址一样。

（5）修改主机IP地址
详细修改方法参考本文档第一大项中第2小项。

同样的方法克隆hadoop3。

四、SSH免密码登陆配置

（1）在hadoop1、hadoop2和hadoop3的root账户下分别执行

ssh-keygen -t rsa

（2）在hadoop1上执行以下命令

cat /root/.ssh/id_rsa.pub>>/root/.ssh/authorized_keys

（3）把hadoop1上/root/.ssh/authorized_keys文件拷贝到hadoop2 /root/.ssh/目录里
在hadoop1上执行以下命令，回车后输入密码：cloudera

scp /root/.ssh/authorized_keys root@192.168.1.152:/root/.ssh
注释：192.168.1.152代表hadoop2的ip地址

（4）hadoop2上执行以下命令

cat /root/.ssh/id_rsa.pub>>/root/.ssh/authorized_keys

（5）把hadoop2上的/root/.ssh/authorized_keys再拷贝到hadoop3上，在hadoop2上行下边命令，回车后输入密码：cloudera

scp /root/.ssh/authorized_keys root@192.168.1.153:/root/.ssh
注释：192.168.1.153代表hadoop3的Ip地址

（6）hadoop3上执行以下命令

cat /root/.ssh/id_rsa.pub>>/root/.ssh/authorized_keys

（7）把hadoop3上的/root/.ssh/authorized_keys文件分别拷贝到hadoop1和hadoop2上，然后在hadoop3上执行以下命令

scp /root/.ssh/authorized_keys root@192.168.1.151:/root/.ssh


scp /root/.ssh/authorized_keys root@192.168.1.152:/root/.ssh

5、配置主机名和IP地址映射
hadoop是以主机名进行通信的，所以我们需要配置主机名与IP地址的映射。
在hadoop1、hadoop2和hadoop3的/etc/hosts文件里分别添加以下信息：

192.168.1.151  hadoop1
192.168.1.152  hadoop2
192.168.1.153  hadoop3

6、进程禁用
（1）前边我们在hadoop1上搭建了伪分布式，上边安装了hadoop集群所有的进程。根据我们分布式规划，我们需要关闭SecondaryNameNode和ResourceManager进程。
在hadoop1执行下边命令：

chkconfig hadoop-hdfs-secondarynamenode off

chkconfig hadoop-yarn-resourcemanager off

（2）hadoop2是从hadoop1上克隆过来的，根据我们分布式规划，我们需要关闭NameNode、ResourceManager和JobHistoryServer。

chkconfig hadoop-hdfs-namenode off

chkconfig hadoop-yarn-resourcemanager off

chkconfig hadoop-mapreduce-historyserver off

（3）hadoop3也是从hadoop1上克隆过来的，根据我们分布式规划，我们需要关闭NameNode、SecondaryNameNode和JobHistoryServer。

chkconfig hadoop-hdfs-namenode off

chkconfig hadoop-hdfs-secondarynamenode off

chkconfig hadoop-mapreduce-historyserver off

7、修改resourcemanager的主机名
修改/etc/hadoop/yarn-site.xml中的yarn.resourcemanager.hostname为hadoop3(因为我们的resourcemanager在hadoop3上部署着)。

<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop3</value>
</property>

注释：因为我们是直接克隆hadoop1所以需要做这些修改

8、格式化Namode
在hadoop1上执行下边命令：

hadoop namenode -format

首次格式化只需要执行上述命令即可；再次格式化时，namenode会产生新的文件系统版本，与datanode目录下文件系统版本不一致（/data/dn/current））。
解决办法：
1、 先执行第九步的操作，然后再执行该格式化命令。
2、 将所有datanode中的文件/data/dn/current/VERSION中cluster的值改成与/data/nn/current/VERSION中的cluster一致。

9、删除DataNode本地路径数据
在hadoop1、hadoop2和hadoop3上分别删除/data/dn/current，执行以下命令

rm -rf /data/dn/current

10、启动服务
(1)，单独启动

hadoop1:

cd /root/hadoop-2.6.0-cdh5.10.1/sbin
./hadoop-daemon.sh start namenode
./hadoop-daemon.sh start datanode
./yarn-daemon.sh start nodemanager

hadoop2:

cd /root/hadoop-2.6.0-cdh5.10.1/sbin
./hadoop-daemon.sh start secondarynamenode
./hadoop-daemon.sh start datanode
./yarn-daemon.sh start nodemanage



hadoop3:
cd /root/hadoop-2.6.0-cdh5.10.1/sbin
./hadoop-daemon.sh start datanode
./yarn-daemon.sh start resourcemanager
./yarn-daemon.sh start nodemanager

(2)、 批量启动

在任一主机上（所在主机上的slaves文件必须配置）进入/root/hadoop-2.6.0-cdh5.10.1/sbin目录后执行./ start-dfs.sh和./start-yarn.sh。

五、 验证集群是否成功

通过web界面来查看集群

在浏览器中输入http://hadoop1:50070和http://hadoop3:8088，能够看到如下界面，说明机器启动成功。

只要在网页上看到hadoop的页面，说明集群配置成功
不一定需要两个网页都打开，只要有一个网页可以打开即可
飞往你的山1
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
windows搭建hadoop分布式系统架构
06-29 2579
1、下载hadoop的安装包：http://hadoop.apache.org/-&gt;Releases-&gt;mirror site 2、解压安装包：将下载包解压到指定目录，并添加环境变量；解压出来一个目录：D:\hadoop-3.1.0，将bin路径配置到环境变量中。 然后下载window相关支持工具类，https://share.weiyun.com/5RPjxnh，解压后把文件全部...
Hadoop学习之Hadoop完全分布式集群安装
AlienTech for better life!~
12-16 1593
注：本文的主要目的是为了记录自己的学习过程，也方便与大家做交流。转载请注明来自： http://blog.csdn.net/ab198604/article/details/8250461   要想深入的学习hadoop数据分析技术，首要的任务是必须要将hadoop集群环境搭建起来，可以将hadoop简化地想象成一个小软件，通过在各个物理节点上安装这个小软件，然后将其运行起来
2024年大数据最新Hadoop 完全分布式部署_hadoop分布式安装部署(1)，一名毕业三年的女程序媛面试头条经验
最新发布
2401_84185182的博客
05-13 926
1.BOOTPROTO设置为static，表示IP为静态的。2.GATEWAY设置为上一步查询到的实际网关地址。3.IPADDR设置为网关所在的网段，这里查到的网段为10.90.100.0。
Hadoop完全分布式搭建
QiSorry
03-02 4874
文章目录前言一、虚拟机准备1. 可以正常上网2. ip为静态ip3. 安装必要的环境4. 关闭防火墙以及防火墙开机自启动5. 修改主机名及添加映射6. 创建用户7. 克隆另外两台虚拟机：hadoop102 hadoop103克隆 hadoop102更改 hadoop102 相关信息测试三台虚拟机是否可以相互通信二、Hadoop安装及相关配置1.引入库2.读入数据总结 前言 必备条件： 电脑内存最好8G以上 虚拟机ip为静态ip且可以 ping 通外网 提示：若满足以上条件，下面案例可供参考 一、虚.
hadoop完全分布式安装教程
zhangsheng的博客
08-27 431
1 网络配置 如果是配虚拟机，记得到计算机管理—》服务，打开以下服务，要不然上不了网。 1.1编辑网络配置文件 vim /etc/sysconfig/network-scripts/ifcfg-ens33 TYPE=Ethernet PROXY_METHOD=none BROWSER_ONLY=no BOOTPROTO=static DEFROUTE=yes IPV4_FAILURE_FATAL=...
hadoop2.7完全分布式安装
chinacmt的博客
12-21 483
安装准备操作系统: Centos 7 三台机器(hadoop-0为master)：hadoop-0:192.168.116.130 hadoop-1:192.168.116.131 hadoop-2:192.168.116.132软件包： hadoop下载地址: http://apache.fayea.com/hadoop/common/hadoop-2.7.3/hadoop-2.7.3
超详细解说Hadoop伪分布式搭建1
08-03
【超详细解说Hadoop伪分布式搭建1】 在深入讲解Hadoop伪分布式搭建的过程中，首先要明白，伪分布式模式是在单个节点上模拟分布式环境，适用于学习和测试Hadoop的配置及功能，无需多台机器。以下是详细的搭建步骤： ...
Hadoop伪分布式安装及配置参考步骤.docx
04-22
Hadoop伪分布式安装及配置参考步骤 Hadoop是一种分布式系统基础架构，由Apache基金会开发，能够对大量数据进行分布式处理和存储。用户可以轻松地在Hadoop集群上开发和运行处理海量数据的应用程序。Hadoop具有高可靠...
hadoop安装（超详细）.docx
01-16
Hadoop 安装详细步骤 Hadoop 是一个开源的大数据处理框架，由 Apache 基金会开发和维护。它提供了一个分布式的文件系统和一个 MapReduce 计算框架，用于处理大规模数据。下面是 Hadoop 安装的详细步骤： 固定 IP ...
hadoop伪分布式搭建(超级详细)
10-11
本篇文章将详细介绍如何在个人计算机上搭建Hadoop的伪分布式环境，以模拟一个单节点的Hadoop集群。我们将基于提供的hadoop-2.2.0版本进行操作，并参考名为“hadoop2.2.0伪分布式搭建.txt”的指南文件。 首先，我们...
hadoop超级详细安装文档
06-14
【Hadoop超级详细安装文档】 Hadoop是一款开源的分布式计算框架，由Apache基金会开发，用于处理和存储海量数据。它的核心组件包括HDFS（Hadoop Distributed File System）和MapReduce，能够实现数据的高容错性和高...
hadoop-mapreduce-client-core-2.5.1.jar
05-18
hadoop-mapreduce-client-core-2.5.1.jar，mapreduce必备组件，供学习使用 欢迎下载
hadoop-mapreduce-client-core-2.5.1-API文档-中文版.zip
04-23
赠送jar包：hadoop-mapreduce-client-core-2.5.1.jar； 赠送原API文档：hadoop-mapreduce-client-core-2.5.1-javadoc.jar； 赠送源代码：hadoop-mapreduce-client-core-2.5.1-sources.jar； 赠送Maven依赖信息文件：hadoop-mapreduce-client-core-2.5.1.pom； 包含翻译后的API文档：hadoop-mapreduce-client-core-2.5.1-javadoc-API文档-中文(简体)版.zip； Maven坐标：org.apache.hadoop:hadoop-mapreduce-client-core:2.5.1； 标签：core、apache、mapreduce、client、hadoop、jar包、java、API文档、中文版； 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译，文档中的代码和结构保持不变，注释和说明精准翻译，请放心使用。
hadoop 分布式部署全过程
08-05
本文将详细介绍 Hadoop 分布式部署全过程，包括安装介质的选择、虚拟机的创建、Linux 操作系统的安装、Hadoop 的安装和配置等步骤，同时也会对常见的问题进行分析和解决。 第一步：安装介质的选择 在安装 Hadoop ...
伪分布式Hadoop安装配置测试全过程
05-09
本文档旨在详细介绍如何在Ubuntu 10.10操作系统上安装并配置伪分布式Hadoop环境，包括JDK的安装、Hadoop软件的部署以及相关环境变量的设置。通过本教程，读者能够了解并掌握在单机环境下搭建伪分布式Hadoop集群的全...
mac安装Hadoop3.2.1教程（超详细）
01-07
由于课程需要和工具限制，需要在mac上安装Hadoop，参考了网上的教程，总结了用terminal安装Hadoop3.2.1以及运行第一个Wordcount程序的过程。这里默认mac的terminal已经安装了homebrew软件管理工具、JDK环境，如果没...
Hadoop分布式集群的安装(图解)
qq_43325476的博客
01-07 5837
搭建是学习大数据的基础，大家一定要好好的搭建，可以试着多搭建几遍
Hadoop分布式系统搭建（1）
会飞的时钟
02-17 142
Hadoop分布式系统搭建（1） 1、操作系统和分配 操作系统 CentOS-7-x86_64-Minimal-1804.iso 虚拟机安装，使用NAT模式 主机分配 IP 主机名 主机域名 角色 192.168.10.130 f1 bob-tech1.hadoop.com master 192.168.10.131 f2 bob-tech2.hadoop.com s...
Hadoop分布式集群搭建完全教程
小满麦渐黄
03-22 4476
最近在学Hadoop,试着在自己机子上搭了个分布式环境，测试成功，现将搭建过程分享给大家。实验环境： 系统：win7 内存：8G(因要开虚拟机，内存建议不低于8G) 硬盘：建议固态 虚拟机：VMware 12 Linux：Centos 7 jdk1.7.0_67 hadoop-2.5.0.tar.gz 1.安装VMware虚拟机环境 2.安装Centos操作系统 3.修改主机名配置网络
hadoop分布式安装
07-30
- *1* *2* [Hadoop分布式安装（超详细）](https://blog.csdn.net/qq_43667449/article/details/108751410)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值