Hadoop集群搭建

最新推荐文章于 2023-07-27 16:42:30 发布
最新推荐文章于 2023-07-27 16:42:30 发布
阅读量270 收藏 1
点赞数 1
分类专栏： 大数据 文章标签： hadoop集群搭建
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42586468/article/details/118361841
版权

文章目录

Hadoop集群部署

1.Hadoop集群规划

在这里插入图片描述

节点配置ip映射：

node1， 修改/etc/hosts:

10.0.194.30     node1
10.0.195.109    node2
10.0.194.59     node3
10.0.194.30    localhost

node2， 修改/etc/hosts:

10.0.194.30     node1
10.0.195.109    node2
10.0.194.59     node3
10.0.195.109    localhost

node3， 修改/etc/hosts:

10.0.194.30     node1
10.0.195.109    node2
10.0.194.59     node3
10.0.194.59    localhost

Hadoop-cdh, hive 软件压缩包和jdk 压缩包网盘地址：

链接：https://pan.baidu.com/s/1zm6ur2-aq4hSNVwuDqsXbA
提取码：1234

2.前置安装

配置主节点与副节点间SSH免密登录

  1. node1, node2, node3 分别生成ssh秘钥：ssh-keygen -t rsa

  2. 因为主节点为node1, 为了保证node1可以免密登录node1, node2, node3所以将node1的公钥分别拷贝至node1, node2, node3（在node1上执行）:

    ssh-copy-id -i ~/.ssh/id_rsa.pub node1
ssh-copy-id -i ~/.ssh/id_rsa.pub node2
ssh-copy-id -i ~/.ssh/id_rsa.pub node3

    注意：如果前面没有配置好ip映射，这里是无法识别node主机名的，第一次复制过去的时候需要输入密码，后续登录可以免密

3.JDK安装

  1. node1安装JDK1.8：

    • 解压缩jdk1.8.tar.gz至指定目录（我安装至/usr/local下）

    • 配置JDK环境变量，ubuntu 修改~/.bashrc：

      export JAVA_HOME=/usr/local/jdk1.8.0_291
export JRE_HOME=${JAVA_HOME}/jre  
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib  
export PATH=${JAVA_HOME}/bin:$PATH

      source ~/.bashrc

      sudo update-alternatives --install /usr/bin/java java /usr/local/jdk1.8.0_291/bin/java 3000

sudo update-alternatives --install /usr/bin/javac javac /usr/local/jdk1.8.0_291/bin/javac 3000

sudo update-alternatives --install /usr/bin/jar jar /usr/local/jdk1.8.0_291/bin/jar 3000

sudo update-alternatives --install /usr/bin/javah javah /usr/local/jdk1.8.0_291/bin/javah 3000

sudo update-alternatives --install /usr/bin/javap javap /usr/local/jdk1.8.0_291/bin/javap 3000

sudo update-alternatives --install /usr/bin/jshell jshell /usr/local/jdk1.8.0_291/bin/jshell 3000

sudo update-alternatives --install /usr/bin/jconsole jconsole /usr/local/jdk1.8.0_291/bin/jconsole 3000

  2. 将node1解压后的目录scp至node2和node3, 并配置node2和node3的环境变量:

    • 在node1上执行scp -r jdk1.8.0_291 root@node2:/usr/local/, scp -r jdk1.8.0_291 root@node3:/usr/local/

    • 配置node2 JDK环境变量，修改~/.bashrc：

      export JAVA_HOME=/usr/local/jdk1.8.0_291
export JRE_HOME=${JAVA_HOME}/jre  
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib  
export PATH=${JAVA_HOME}/bin:$PATH

      source ~/.bashrc

      sudo update-alternatives --install /usr/bin/java java /usr/local/jdk1.8.0_291/bin/java 3000

sudo update-alternatives --install /usr/bin/javac javac /usr/local/jdk1.8.0_291/bin/javac 3000

sudo update-alternatives --install /usr/bin/jar jar /usr/local/jdk1.8.0_291/bin/jar 3000

sudo update-alternatives --install /usr/bin/javah javah /usr/local/jdk1.8.0_291/bin/javah 3000

sudo update-alternatives --install /usr/bin/javap javap /usr/local/jdk1.8.0_291/bin/javap 3000

sudo update-alternatives --install /usr/bin/jshell jshell /usr/local/jdk1.8.0_291/bin/jshell 3000

sudo update-alternatives --install /usr/bin/jconsole jconsole /usr/local/jdk1.8.0_291/bin/jconsole 3000

    • 配置node3 JDK环境变量， 修改~/.bashrc：

      export JAVA_HOME=/usr/local/jdk1.8.0_291  
export JRE_HOME=${JAVA_HOME}/jre  
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib  
export PATH=${JAVA_HOME}/bin:$PATH

      source ~/.bashrc

      sudo update-alternatives --install /usr/bin/java java /usr/local/jdk1.8.0_291/bin/java 3000

sudo update-alternatives --install /usr/bin/javac javac /usr/local/jdk1.8.0_291/bin/javac 3000

sudo update-alternatives --install /usr/bin/jar jar /usr/local/jdk1.8.0_291/bin/jar 3000

sudo update-alternatives --install /usr/bin/javah javah /usr/local/jdk1.8.0_291/bin/javah 3000

sudo update-alternatives --install /usr/bin/javap javap /usr/local/jdk1.8.0_291/bin/javap 3000

sudo update-alternatives --install /usr/bin/jshell jshell /usr/local/jdk1.8.0_291/bin/jshell 3000

sudo update-alternatives --install /usr/bin/jconsole jconsole /usr/local/jdk1.8.0_291/bin/jconsole 3000

4Hadoop集群部署

主节点node1配置

  1. 解压hadoop-cdh 压缩包至指定目录/usr/local下，添加环境变量：

    export HADOOP_HOME=/usr/local/hadoop-2.6.0-cdh5.15.1
export PATH=$HADOOP_HOME/bin:$PATH

    source ~/.bashrc

  2. 修改hadoop 配置, 配置文件目录/usr/local/hadoop-2.6.0-cdh5.15.1/etc/hadoop：

    • 配置hadoop-env.sh:

      export JAVA_HOME=/usr/local/jdk1.8.0_291

    • 配置core-site.xml:

      <configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://node1:8020</value>
    </property>
</configuration>

    • 配置hdfs-site.xml:

      <configuration>
    <property>
      <name>dfs.namenode.name.dir</name>
      <value>/home/hadoop/app/tmp/dfs/name</value>
    </property>

    <property>
      <name>dfs.datanode.data.dir</name>
      <value>/home/hadoop/app/tmp/dfs/data</value>
    </property>
</configuration>

    • 配置yarn-site.xml:

      <property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
 </property>

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>node1</value>
</property>

    • 配置mapred-site.xml, 在配置目录下没有mapred-site.xml, 有一个mapred-site.xml.template，重命名为mapred-site.xml就可以了：

      <property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>

    • 配置slaves：

      node1
node2
node3

分发主节点hadoop到其他机器

  1. 拷贝hadoop解压缩后的目录至node2与node3, 相同目录下：

    scp -r /usr/local/hadoop-2.6.0-cdh5.15.1 root@node2:/usr/local/
scp -r /usr/local/hadoop-2.6.0-cdh5.15.1 root@node3:/usr/local/

  2. 配置node2与node3 hadoop环境变量：

    export HADOOP_HOME=/usr/local/hadoop-2.6.0-cdh5.15.1
export PATH=$HADOOP_HOME/bin:$PATH

    source ~/.bashrc

注意：如果不是通过scp分发的模式配置hadoop,而是通过在对应节点主机上解压缩的方式配置, 配置内容和上边node1的需要一样

需要将从节点的core-site.xml修改为主节点的urI, 否则在启动DN时会报错：无法来连接服务，因为NN是在主节点启动的

同时也需要将从节点的yarn-site.xml修改为主节点node1

NameNode格式化

  • 在主节点node1上执行命令hadoop namenode -format

  • 如果以前格式化过，需要先将/home/hadoop/app/tmp/dfs/name和/home/hadoop/app/tmp/dfs/namesecondary以及/home/hadoop/app/tmp/dfs/data目录下的current文件夹删除。

    上边这些目录是在hdfs-site.xml中配置的，如果重新format不删除current的话，可能会导致节点启动失败。

  • 当在最后出现这一行信息表示格式化成功：

    21/06/30 00:45:54 INFO common.Storage: Storage directory /home/hadoop/app/tmp/dfs/name has been successfully formatted.

启动HDFS

  • 在主节点node1上执行/usr/local/hadoop-2.6.0-cdh5.15.1/sbin/start-dfs.sh:

    root@node1:/usr/local/hadoop-2.6.0-cdh5.15.1/sbin# /usr/local/hadoop-2.6.0-cdh5.15.1/sbin/start-dfs.sh 
21/06/30 00:48:16 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Starting namenodes on [node1]
node1: starting namenode, logging to /usr/local/hadoop-2.6.0-cdh5.15.1/logs/hadoop-root-namenode-node1.out
node1: starting datanode, logging to /usr/local/hadoop-2.6.0-cdh5.15.1/logs/hadoop-root-datanode-node1.out
node2: starting datanode, logging to /usr/local/hadoop-2.6.0-cdh5.15.1/logs/hadoop-root-datanode-node2.out
node3: starting datanode, logging to /usr/local/hadoop-2.6.0-cdh5.15.1/logs/hadoop-root-datanode-node3.out
Starting secondary namenodes [0.0.0.0]
0.0.0.0: starting secondarynamenode, logging to /usr/local/hadoop-2.6.0-cdh5.15.1/logs/hadoop-root-secondarynamenode-node1.out
21/06/30 00:48:30 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

  • 查看node1是否启动成功：

    root@node1:/usr/local/hadoop-2.6.0-cdh5.15.1/sbin# jps
1041 SecondaryNameNode
593 NameNode
794 DataNode
1391 Jps

    查看node2的DN是否启动成功：

    root@node2:/usr/local# jps
16258 DataNode
17897 Jps

    查看node3的DN是否启动成功：

    root@node3:~# jps
23409 Jps
23109 DataNode

  • 查看web 界面：

在这里插入图片描述

启动YARN

root@node1:/usr/local/hadoop-2.6.0-cdh5.15.1/sbin# ./start-yarn.sh 
starting yarn daemons
starting resourcemanager, logging to /usr/local/hadoop-2.6.0-cdh5.15.1/logs/yarn-root-resourcemanager-node1.out
node3: starting nodemanager, logging to /usr/local/hadoop-2.6.0-cdh5.15.1/logs/yarn-root-nodemanager-node3.out
node2: starting nodemanager, logging to /usr/local/hadoop-2.6.0-cdh5.15.1/logs/yarn-root-nodemanager-node2.out
node1: starting nodemanager, logging to /usr/local/hadoop-2.6.0-cdh5.15.1/logs/yarn-root-nodemanager-node1.out

  • 查看node1的RM和DM是否启动：

    root@node1:/usr/local/hadoop-2.6.0-cdh5.15.1/sbin# jps
29921 NameNode
30370 SecondaryNameNode
5957 NodeManager
6571 Jps
5613 ResourceManager
30126 DataNode

    查看node2的NM：

    root@node2:~# jps
5283 Jps
25913 DataNode
3660 NodeManager

    查看node3的NM:

    root@node3:~# jps
31572 DataNode
6567 NodeManager
8382 Jp

  • 查看yarn界面：

在这里插入图片描述

5.作业提交到Hadoop集群运行

  1. 到hadoop自带的demo目录/usr/local/hadoop-2.6.0-cdh5.15.1/share/hadoop/mapreduce下运行一个jar包:

    root@node2:/usr/local/hadoop-2.6.0-cdh5.15.1/share/hadoop/mapreduce# hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.15.1.jar pi 2 3
一切如来心秘密
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Hadoop大数据集群搭建（超详细）_hadoop集群搭建(1)
2401_84181070的博客
04-27 960
打开C:\Windows\System32\drivers\etc下的hosts文件,添加以下内容（注：如果没有notepad++这类软件，可以通过记事本保存在其他位置，然后拖动到该文件夹下）Hadoop的JAVA_HOME版本设置未更改，例如未去掉注释等，三台虚拟机全都改好后重启hdfs和yarn。Hadoop的JAVA_HOME版本设置未更改，例如未去掉注释等，三台虚拟机全都改好后重启hdfs和yarn。执行该程序（参考下文中可能遇到的问题，问题1、2为必现问题，建议直接修改）
hadoop集群搭建教程
03-07
在虚拟机上面搭建hdfs 集群亲测可用 记得 修改ip地址就行
Hadoop--HDFS集群架构
白茶 清欢的博客
11-02 462
Hadoop集群搭建 服务器配置以及JDK的安装 硬件准备 （1）硬件准备 服务器准备：VMware12/10/14 CentOS6.8 下载网址：http://vault.centos.org/ （2）网络环境准备：NAT方式：不需要做任何网络设置，只要宿主主机上网即可上网 IP地址，子网掩码，网关，DNS（外网） LINUX系统环境准备： 修改主机名： vim /etc/sysconfig/n...
Hadoop集群搭建（超级详细）
热门推荐
qq_43650672的博客
05-07 7万+
本文略长，希望各位大佬见谅！！！ 需要的安装包：jdk-8u162-linux-x64.tar.gz（ 提取码：6k1i ）、hadoop-3.1.3.tar.gz（ 提取码：07p6 ） 1 集群规划 安装VMware，使用三台Ubuntu18.04虚拟机进行集群搭建，下面是每台虚拟机的规划： 主机名 IP 用户 HDFS YARN hadoopMaster 待定 rmc0924 NameNode、DataNode NodeManager、ResourceManager hado
Hadoop集群搭建（超级超级详细）
皮埃尔的博客
04-28 3万+
Hadoop集群搭建（超级超级详细）
Hadoop集群搭建详细教程
最新发布
m0_65029172的博客
07-27 3481
Hadoop集群搭建详细教程
hadoop集群搭建
路在脚下
07-30 999
hadoop入门
Hadoop 集群搭建
yuyu的博客
03-24 1623
使用三台虚拟机，搭建一个 Hadoop 集群
CentOS7 hadoop集群搭建
qq_41103051的博客
09-13 1674
CentOS7 hadoop集群搭建
Hadoop集群搭建配置教程
笑看风云路的博客
05-19 7436
Hadoop3.1.3集群搭建前言集群规划集群搭建具体步骤1、下载`hadoop-3.1.3.tar.gz`2、上传并解压3、配置`path`变量4、修改配置文件4.1 修改文件`hadoop-env.sh`4.2 修改文件workers4.3 修改文件`core-site.xml`4.4 修改文件`hdfs-site.xml`4.5 修改文件`mapred-site.xml`4.6 修改文件 `yarn-site.xml`5、把`/opt/module/hadoop`复制到其他节点上6、在其他节点上操作7
hadoop集群搭建步骤
01-10
该文档提供了linux环境中搭建hadoop集群（大数据）的步骤，个人认为比较详细，供大家学习
hadoop集群搭建(超级详细)
10-11
超详细集群搭建教程(从虚拟机安装到集群搭建完成，集群搭建成功验证)，每一个步骤都有，照做即可。 内有集群搭建所需安装包：hadoop2.2.0，zookeeper3.4.5
hadoop集群搭建文档资料
11-15
本文档深刻解析了hadoop集群搭建的过程，有自己编写的过程，有完整的搭建过程。
3.基于hadoop集群搭建hbase
06-17
基于haodoop 集群搭建hbase集群。（2台机器的情况。）
Hadoop集群搭建详细简明教程
05-16
该文件是：Hadoop集群搭建详细简明教程，简单明了，易于上手。
基于centos的大数据hadoop集群搭建说明文档
10-30
适用于初学者徒手搭建hadoop集群，文档细致，完全傻瓜模式，非常好用

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一切如来心秘密

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值