hadoop搭建三个节点（基于完全分布式）

最新推荐文章于 2024-08-02 01:29:08 发布
最新推荐文章于 2024-08-02 01:29:08 发布
阅读量1.3w 收藏 26
点赞数 4
分类专栏： 大数据 文章标签： 数据挖掘 hadoop ubuntu jdk 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_30070433/article/details/60474240
版权

一、Hadoop单个节点初始配置

环境：
Win10系统装虚拟机： 虚拟机VMware-workstation-full-10.0.0-812388.exe
Linux系统 ： Ubuntu16.04
JDK ： openjdk-8-jre openjdk-8-jdk或者其它版本

搭建步骤：
1. 首先在win10系统装虚拟机，执行VMware-workstation-full-10.0.0-812388.exe；
2. 在虚拟机上装Ubuntu16.04；
3. 创建hadoop用户：
相关命令：

useradd -m hadoop -s /bin/bash
passwd hadoop //接着使用如下命令设置密码，可简单设置为 hadoop
adduser hadoop sudo //可为 hadoop 用户增加管理员权限，方便部署
sudo shutdown –r now //最后命令重启
  1. 安装完成Ubuntu16.0.4之后，需要安装JDK，下面是安装jdk的具体步骤：

方法一：

a. 从sun公司网站www.sun.com下载linux版本的jdk, 将jdk复制到/usr目录下,然后进入/usr目录cd /usr
5. 安装完成Ubuntu16.0.4之后，需要安装JDK，下面是安装jdk的具体步骤：
b. 从sun公司网站www.sun.com下载linux版本的jdk, 将jdk复制到/usr目录下,然后进入/usr目录cd /usr
c. 添加执行权限

chmod +x jdk-6u7-linux-i586.bin

d. 执行安装命令./jdk-6u7-linux-i586.bin

d.安装成功会在/usr目录下生成jdk1.6.0_45目录，就是jdk的安装目录重启电脑,打开终端，输入java –version如图。
这里写图片描述
4．安装完JDK后我们需要对jdk进行一些配置，步骤如下：
a．进入/etc目录，对profile配置文件进行一些修改，输入命令：nano profile
b．最后面添加如下内容

export JAVA_HOME=/home/hadoop/jdk1.6.0_45 #将“JDK安装路径”改为上述命令得到的路 $
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

这里写图片描述

配置完成之后输入命令：source /etc/profile执行配置文件，
e. 配置完成之后，重启，下面需要进行验证。
输入命令查看环境变量：echo $PATH
如图所示，jdk配置完毕。

这里写图片描述
注意！ubantu在配置完profile之后需要重启一下，不然切换窗口命令行后环境变量无法实时更新！

方法二：

直接用命令安装ubantu自带的OpenJDK 8即可
相关下载命令：sudo apt-get install openjdk-8-jre openjdk-8-jdk
配置环境变量：
修改~/.bashrc
在开头加上

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 
export PATH=$JAVA_HOME/bin:$PATH 
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

至此，jdk配置完毕
5、1. 安装ssh服务，命令如下

：sudo apt-get install ssh openssh-server

相关命令：

ssh localhost
cd ~/.ssh/ 
ssh-keygen -t rsa # 一直按enter键就可以
cat ./id_rsa.pub >> ./authorized_keys # 加入授权

安装完成SSH后，可以使用命令查看SSH是否启动：ps -e|grep ssh

这里写图片描述

  1. 安装SSH服务完成后就需要配置无密码登录，见相关命令。
    注意：
    测试连接本地ssh时如果
    出现ssh: connect to host localhost port 22: Connection refused时
    解决方法：

    ```
sudo apt-get purge openssh-server
sudo apt-get install openssh-server
```
  2. 安装hadoop2
    相关命令：
sudo tar -xvzf hadoop-2.6.0.tar.gz -C /usr/local/ # 解压到/usr/local中
cd /usr/local/
sudo mv hadoop-2.6.0 ./hadoop # 改文件名
sudo chown -R hadoop ./hadoop # 修改所属用户与所属用户组

Hadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用，成功则会显示 Hadoop 版本信息。
相关命令：

cd /usr/local/hadoop 
bin/hadoop version

如图所示，hadoop2已经安装完毕
这里写图片描述

在安装完ssh，hadoop，jkd，之后，下面进行第二部分步骤：

二、Hadoop完全分布式配置

拓扑图如下：

这里写图片描述

在安装完单个节点Master（控制节点）的基本软件之后，关闭虚拟机，复制镜像文件作为另外两个节点Slave1和Slave2，下面我们对着三个节点进行分别配置。

第一步：hostname配置：
相关命令：

sudo nano /etc/hostname

保存完毕后，重启Slave1和Slave2节点，值得配置生效。
重启后如图所示：
保存完毕后，重启Slave1和Slave2节点，值得配置生效。
重启后如图所示：

这里写图片描述

这里写图片描述

第二步：net配置：
使用ifconfig命令查看IP地址和网关
对三个节点的/etc/hosts文件都配上所查到的IP地址
如图所示：
这里写图片描述

**第三步：配置/etc/network/interfaces,配置如下：
Master节点：

interfaces(6) file used by ifup(8) and ifdown(8)
# The loopback network interface
auto lo
iface lo inet loopback

# The primary network interface
auto ens33 #网卡名
iface ens33 inet static #静态配置
address 10.12.18.47
netmark 255.255.255.0
gateway 10.12.18.2#网关

Slave1节点：

interfaces(6) file used by ifup(8) and ifdown(8)
# The loopback network interface
auto lo
iface lo inet loopback

# The primary network interface
auto ens33 #网卡名
iface ens33 inet static #静态配置
address 10.12.18.48
netmark 255.255.255.0
gateway 10.12.18.2#网关

Slave2节点：

interfaces(6) file used by ifup(8) and ifdown(8)
# The loopback network interface
auto lo
iface lo inet loopback

# The primary network interface
auto ens33 #网卡名
iface ens33 inet static #静态配置
address 10.12.18.49
netmark 255.255.255.0
gateway 10.12.18.2#网关

第四步：配置DNS(如果不需要联网可以跳过此步骤！)
相关命令

sudo vim /etc/resolvconf/resolv.conf.d/base

添加如下内容

nameserver 114.114.114.114

第五步：SSH相关配置
相关命令：
ssh-keygen -t rsa

cat ./id_rsa.pub >> ./authorized_keys
tar -czvf aaa * //打包发送使使各点内容同步
scp sss hadoop@Slave1:/home/hadoop#通过SCP远程服务把Master打包的ssh秘钥发送到Slave1节点上
scp sss hadoop@Slave2:/home/hadoop#通过SCP远程服务把Master打包的ssh秘钥发送到Slave2节点上

Slave1和Slave2节点操作：
首先创建一个文件夹：mkdir ~/.ssh
把在home/hadoop目录下的接受的sss文件解压到~/.ssh上
相关命令：

mv aaa ~/.ssh
cd ~/.ssh
tar -xzvf aaa

如图所示，ssh 已经可以实现无密码传输
这里写图片描述

最后一步：hadoop相关操作:
但当我们进入/user/local/hadoop/etc/hadoop/目录下我们可以看到如图：
这里写图片描述
下面，我们需要进行一些文件的修改
a.slaves需要文件配置关联数据节点注册：
相关命令：`sudo nano slaves
这里写图片描述

b.配置hadoop-env.cmd 文件
相关命令：

sudo nano hadoop-env.cmd

如图
这里写图片描述

c.配置mapred-site.xml 文件!默认文件名为 mapred-site.xml.template.在这一步要注意的是要先改名
相关命令：mv mapred-site.xml.template mapred-site.xml
改完名之后在这个文件添加如下内容：

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

<property>
<name>mapreduce.jobhistory.address</name>
<value>Master（主机名）:10020</value>
</property>

<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>Master:19888</value>
</property>
</configuration>

d.配置hdfs-site.xml文件
添加如下内容：

<property>
<name>dfs.namenode.secondary.http-address</name>
<value>Master:50090</value>
</property>

<property>
<name>dfs.replication</name>
<value>3</value>
</property>

<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/hadoop/tmp/dfs/name</value>
</property>

<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/hadoop/tmp/dfs/data</value>
</property>

<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

e.配置yarn-site.xml文件
添加如下内容：

configuration>

<property>
<name>yarn.resourcemanager.hostname</name>
<value>Master</value>#这边注意的是Master就是主机名
</property>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

</configuration>

f.配置core-site.xml，用于启动nameNode进程。
配置如下：

<configuration>

<property>
<name>fs.defaultFS</name>
<value>hdfs://Master:9000</value> //master即为控制节点的主机名，
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>

</configuration>

最后在Master节点配置完毕之后打包起来发送到Slave1和Slave2节点
相关命令：

sudo tar -cvzf ~/hadoop.master.tar.gz ./hadoop # 压缩复制
cd ~   
scp ./hadoop.master.tar.gz Slave1:/home/hadoop
scp ./hadoop.master.tar.gz Slave2:/home/hadoop

在Slave1和Slave2解压hadoop.master.tar.gz放在和Master节点相同的目录
最后的最后，还要配置三个节点的hadoop的环境变量
输入命令：sudo nano~/.bashrc
在里面的最前面添加如下内容

export HADOOP_HOME=/usr/local/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:/usr/local/hadoop/bin:/usr/local/hadoop/sbin

改完之后执行一下：source ~/.bashrc

三运行前的准备

首先使用命令：hdfs namenode -format //初始化（#只能执行一次），用来建立hdfs结构来存元数据。
下面进入目录：hadoop@Master:/usr/local/hadoop/sbin$ 下运行hadoop
相关命令：

开启hadoop 的命令是:start-*.sh

关闭hadoop 的命令是:stop-*.sh

注意的是开启和关闭的过程会比较慢，稍微等一下

开启之后，发现开启了6个进程，用jps命令查看jdk下的进程如图

这里写图片描述

网页输入网址如图：
http://ip地址:8088/cluster
这里写图片描述
http://IP地址:50070/dfshealth.html#tab-overview
这里写图片描述

遇到的问题！

问题1：如果出现虚拟机上hadoop已经成功开启，但是Windows系统上的浏览器打不开端口？
解决方案：
打开“网络和共享中心”->“更改适配器设置”中查看VM服务是否开启，如果被禁用了，启动服务即可。

陈william
关注
专栏目录
Hadoop完全分布式部署
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-25 2970
要想深入的学习hadoop数据分析技术，首要的任务是必须要将hadoop集群环境搭建起来，可以将hadoop简化地想象成一个小软件，通过在各个物理节点上安装这个小软件，然后将其运行起来，就是一个hadoop分布式集群了。(1）学会hadoop完全分布式配置 (2）理解完全分布式配置的配置文件本次环境是：Ubuntu16.04 + jdk1.8.0_73+hadoop-2.7.3Hadoop 集群的安装配置大致为如下流程:   选定一台机器作为 master，在 master 节点上安装 Hadoop，配置网
VMware下CentOS7虚拟机中基于Docker的Hadoop的完全分布式环境搭建
Nick&Niko ’ Home
04-02 608
基于几位前辈的经验，自己重新做的一个整理。VMware下CentOS7虚拟机中基于Docker的Hadoop的完全分布式环境搭建
Hadoop集群搭建(三个虚拟节点)详解
川师计科小白的博客
06-05 5783
Linux上搭建Hadoop集群此实验搭建3个虚拟节点，一个node-master,一个node1，一个node2一. Linux版本选择二.虚拟机安装1.安装VMware Workstation，采用默认即可。打开VMware Workstation，点击“创建新虚拟机”2.浏览Ubuntu iso文件的位置，点击“下一步”。3.创建Linux系统账号信息。输入用户名和密码，两次密码需保持一致。...
Hadoop集群安装（3个节点）
Allenzyg的博客
04-26 2156
1. 网络配置【所有节点】 修改hostname 在每个节点上执行hostname [主机名] 配置网络 vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=node4 #【每个节点改成相应的hostname】 NETWORKING_IPV6=no PEERNTP=no 保存退出 重启网络服务 service network ......
Hadoop的安装和使用-2024年08月01日
最新发布
i_for的博客
08-02 1276
1.创建Hadoop用户 2.SSH登陆权限设置 3.java的安装 4.Hadoop单机安装配置 5.Hadoop伪分布式安装配置
Hadoop完全分布式三节点搭建
weixin_47408699的博客
10-05 746
1、安装VMWare Workstation略过 【注意】VMWare Workstation服务需要启动： 2、安装操作系统 本次演示使用的是默认的操作系统为：centos7，操作系统安装过程略过。 3、需要准备的环境包： 机器：虚拟机3台 JDK:1.8 Hadoop:2.6.0 Hadoop下载地址：[http://archive.apache.org/dist/hadoop/common/hadoop-2.6.0/ 4、检查VMWare Workstations网络配置 【图1】点击虚拟网络编辑
3个节点hadoop搭建
sinaihalo的博客
09-03 470
1 安装linux jdk 2 检查3个节点时间是否相同 3 主节点ssh免登陆从节点 分别在三个节点生成公钥和公钥追加，节点自己免登陆，不生成追加时会失败；将主节点公钥复制到从节点，在从节点公钥追加。指令如下： 生成公钥 ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 公钥追加 cat ~/.ssh/id_dsa.pub &amp;amp;gt;&amp;amp;gt; ~...
Hadoop之三节点集群搭建
月生的静心苑
12-09 1409
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File System），其中一个组件是HDFS（Hadoop Distributed File System）。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据
安装部署Hadoop完全分布式集群(三个节点)
m0_51771858的博客
10-21 1840
世上最全的部署Hadoop集群资料
2024年hadoop平台完全分布式搭建，大数据开发程序员春招三面蚂蚁金服
2401_84166497的博客
05-05 745
1.编辑hosts文件，添加主机名映射内容添加内容：（IP地址填写你自己主机的IP地址）2.生成公钥和私钥然后按四次回车3.复制公钥到其他容器（包括自己）填入yes回车，然后输入root密码即可4.测试是否能免密登录ssh masterssh slave1ssh slave2若回显登录界面，则设置成功（另外两个节点重复以上操作）1.解压jdk安装包到/opt/module中。
大数据技术之hadoop——（三）完全分布式集群搭建（多图详细步骤）
m0_46615073的博客
08-09 2532
大数据技术之hadoop，最详细从零搭建hadoop完全分布式集群 多图 丝丝入扣循序渐进 虚拟的克隆-->jdk、hadoop的安装与环境变量的配置 my_env.sh--->同步分发脚本---> xsync集群分发脚本--->SSH免密登录----->集群部署 集群规划 +hadoop配置文件的修改--->启动集群 -->集群测试
Hadoop三节点集群安装
01-04
Hadoop三节点集群安装 使用VMare 虚拟机创建三台CentOS7Linux机器
【Hadoop】创建Hadoop集群（3个节点）—，2024年最新含面试题+答案
04-15 605
互联网的快速发展带来了数据快速增加，海量数据的存储已经不是一台机器所能处理的问题了。Hadoop的技术应运而生，对于伪分布式存储，Hadoop有自己的一套系统Hadoop distribution file system来处理，为什么分布式存储需要一个额外的系统来处理，而不是就把1TB以上的文件分开存放就好了呢，如果不采用新的系统，我们存放的东西没办法进行一个统一的管理。
大数据 - 第三课 ：Hadoop三个节点的设置和联立
陈杉菜
03-17 595
话说在前面，我真的觉得这个课给我带来一种十分紧张刺激的感觉，害怕跟不上，课前准备事无巨细，pf老师安排周到得体，， 耐心温柔的人真是宝贝阿（土味 验证上周安装的最小安装系统 打开虚拟机验证是否能够上网，查看ip地址 linux系统远程使用 一般服务器系统都不安装GUI，因为没有必要，而且GUI非常战役系统资源。一般情况下，Server系统都是远程是呀。如果桌面是linux或mac，可以直接ss...
安装部署Hadoop完全分布式集群（三个节点）超详细
qq_58476985的博客
09-28 3454
8、远程复制：scp ~/.ssh/authorized_keys hadoop@192.168.0.114:~/.ssh/内容：export HADOOP_HOME=/home/hadoop/software/hadoop-3.3.0。或者输入sudo vi /etc/sysconfig/network-scripts/ifcfg-eth0。备用复制的路径：/home/hadoop/softwarejdk1.8.0_171。上传jdk，hadoop的 gz包到HadoopMaster的虚拟机里。
搭建3个节点的hadoop集群（完全分布式部署）--1 安装虚拟机及hadoop组件
做自己喜欢做的，并坚持做下去，就够了
03-29 1565
昨晚搞到晚上11.30，终于把hadoop组件安装好了，运行试了下，正常...这里记录下完全分布式hadoop集群的搭建步骤。1.VWMare平台安装之前已经安装好了，这里不详细说明。2.安装CentOS虚拟机1）下载好centos ISO安装文件，我安装的是centos6.5版本，安装mini desk模式2）安装好后，再安装VMTools，方便复制及操作centos系统。3）安装Java JD...
阿里云三台节点，搭建完全分布式hadoop集群,超简单
zhangshk_的博客
09-13 9765
完全分布式的安装     1、集群规划             角色分配   NODE-47 NODE-101      NODE-106 HDFS Namenode Datanode SecondaryNamenode Datanode Datanode YARN Nodemanager ...
hadoop三节点搭建
qq_47464005的博客
06-29 924
hadoop搭建
Hadoop2.7.3完全分布式集群搭建（三节点）
bigdodo的博客
09-06 4580
实验环境 虚拟机：Virtualbox 系统：CentOS-6.5 JDK:jdk-8u172-linux-x64.tar Hadoop版本：Hadoop-2.7.3 上述软件均是开源，大家可以网上自行下载 一、CentOS6.5安装 1.打开Virtualbox，点击新建 2.输入第一台机器名centos6.5-matser，类型选择linux，版本选择Red Hat(...
Linux Hadoop搭建指南：单机-伪分布式-完全分布详解
本篇文章是关于Linux Hadoop的搭建指南，它详细介绍了在Linux环境下搭建Hadoop集群的全过程，特别关注了三种不同的运行模式：单机模式、伪分布模式和完全分布式模式。首先，文章的前半部分着重于环境配置，这部分...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值