Hadoop 运行环境搭建（开发重点）

已于 2023-03-07 18:01:18 修改
阅读量2.2k 收藏 13
点赞数 1
分类专栏： BigData 环境搭建 文章标签： hadoop 大数据 linux
于 2023-03-06 20:32:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_72168501/article/details/129369985
版权

文章目录

Hadoop 运行环境搭建（开发重点）

一、安装JDK

将 hadoop 的安装包和 jdk 的安装包，上传到 hadoop102 的 /opt/software 目录下
在这里插入图片描述
输入命令：tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/ 将jdk压缩包解压到 /opt 目录下
在这里插入图片描述
输入命令： mv jdk1.8.0_212/ jdk1.8 包的名字太长了我们给他改成jdk1.8
在这里插入图片描述
然后接下来，配置jdk的环境变量
输入命令：vim /etc/profile 添加以下的变量
在这里插入图片描述

export JAVA_HOME=/opt/jdk1.8
export PATH=$PATH:$JAVA_HOME/bin

输入命令：source /etc/profile 保存配置
输入命令：java -version 可以看到jdk安装成功了

在这里插入图片描述

二、安装配置 Hadoop

1、安装 hadoop

将 /opt/software 目录下的hadoop压缩包，解压到 /opt 目录下
输入命令: tar -zxvf hadoop-3.1.3.tar.gz -C /opt 可以看到 opt目录下就有hadoop包了
在这里插入图片描述
输入命令：vim /etc/profile 配置Hadoop的环境变量
在这里插入图片描述

export HADOOP_HOME=/opt/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root

输入命令：source /etc/profile 让环境生效
输入命令：hadoop version，可以看到hadoop安装成功
在这里插入图片描述

2、hadoop 目录结构

查看 hadoop 的目录结构
在这里插入图片描述
hdfs 是存储的，mapred 是计算的，yarn是资源调度的
hadoop 重要目录：
（1）bin 目录：存放对 Hadoop 相关服务（hdfs，yarn，mapred）进行操作的脚本
（2）etc 目录：Hadoop 的配置文件目录，存放 Hadoop 的配置文件
（3）lib 目录：存放 Hadoop 的本地库（对数据进行压缩解压缩功能）
（4）sbin 目录：存放启动或停止 Hadoop 相关服务的脚本
（5）share 目录：存放 Hadoop 的依赖 jar 包、文档、和官方案例

3、设置免密登录

输入命令：cd .ssh
在这里插入图片描述
输入命令：ssh-keygen -t rsa 然后按三次回车
就会生成两个文件 id_rsa（私钥）、id_rsa.pub（公钥）
在这里插入图片描述）将公钥拷将公钥拷贝到要免密登录的目标机器上
ssh-copy-id hadoop102
ssh-copy-id hadoop103
ssh-copy-id hadoop104
在这里插入图片描述
现在登录到其他的虚拟机上就不会输密码了
在这里插入图片描述
注意：
还需要在 hadoop103 上采用 root 账号配置一下无密登录到 hadoop102、hadoop103、
hadoop104 服务器上。
还需要在 hadoop104 上采用 root 账号配置一下无密登录到 hadoop102、hadoop103、
hadoop104 服务器上。
还需要在 hadoop102 上采用 root 账号，配置一下无密登录到 hadoop102、hadoop103、
hadoop104
在这里插入图片描述

4、完全分布式模式（开发重点）

1）准备三台客户机（关闭防火墙，静态IP，主机名称）
2）安装JDK
3）配置环境变量
4）安装 Hadoop
5）配置环境变量
6）配置集群
7）单点启动
8）配置ssh
9）群起并测试集群

1）分发jdk

在 hadoop102 上，将hadoop12 中 /opt/jdk1.8 目录拷贝到 hadoop103，hadoop104 上面去
输入命令：scp -r $JAVA_HOME root@hadoop103:/opt
输入命令：scp -r $JAVA_HOME root@hadoop104:/opt
可以看到 hadoop103 和 hadoop104 也有jdk文件了
在这里插入图片描述
hadoop 也是同样的拷贝，拷贝到 hadoop103 和 hadoop104
输入命令： scp -r $HADOOP_HOME root@hadoop103:/opt
可以看到hadoop103 和 hadoop104 也有hadoop包了
在这里插入图片描述

2）集群配置
(1) 集群部署规划

注意：
NameNode 和 SecondaryNameNode 不要安装在同一台服务器
ResourceManager 也很消耗内存，不要和 NameNode、SecondaryNameNode 配置在
同一台机器上
在这里插入图片描述

(2) 配置文件说明

Hadoop 配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认
配置值时，才需要修改自定义配置文件，更改相应属性值。
1、默认配置文件：
在这里插入图片描述
2、自定义配置文件：
core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml 四个配置文件存放在
$HADOOP_HOME/etc/hadoop 这个路径上，用户可以根据项目需求重新进行修改配置

(3) 配置集群

1、核心配置文件
配置 core-site.xml
输入命令：cd $HADOOP_HOME/etc/hadoop 进入hadoop的配置的目录
在这里插入图片描述
输入命令：vim core-site.xml 配置core-site.xml 文件
在这里插入图片描述

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
	<!-- 指定 NameNode 的地址 -->
 <property>
 <name>fs.defaultFS</name>
 <value>hdfs://hadoop102:8020</value>
 </property>
 <!-- 指定 hadoop 数据的存储目录 -->
 <property>
 <name>hadoop.tmp.dir</name>
 <value>/opt/hadoop-3.1.3/data</value>
 </property>
 <!-- 配置 HDFS 网页登录使用的静态用户为 atguigu -->
 <property>
 <name>hadoop.http.staticuser.user</name>
 <value>aex</value>
 </property>
</configuration>

2、HDFS 配置文件
配置 hdfs-site.xml
输入命令：vim hdfs-site.xml
在这里插入图片描述

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
<!-- nn web 端访问地址-->
<property>
 <name>dfs.namenode.http-address</name>
 <value>hadoop102:9870</value>
 </property>
<!-- 2nn web 端访问地址-->
 <property>
 <name>dfs.namenode.secondary.http-address</name>
 <value>hadoop104:9868</value>
 </property>
</configuration>

3、YARN 配置文件
配置yarn-site.xml
输入命令：vim yarn-site.xml
在这里插入图片描述

<?xml version="1.0"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->
<configuration>
 <!-- 指定 MR 走 shuffle -->
 <property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
 </property>
 <!-- 指定 ResourceManager 的地址-->
 <property>
 <name>yarn.resourcemanager.hostname</name>
 <value>hadoop103</value>
 </property>
 <!-- 环境变量的继承 -->
 <property>
 <name>yarn.nodemanager.env-whitelist</name>
 
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CO
NF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAP
RED_HOME</value>
 </property>
</configuration>

4、MapReduce 配置文件
输入命令：vim mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
<!-- 指定 MapReduce 程序运行在 Yarn 上 -->
 <property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
 </property>
</configuration>

在这里插入图片描述
5、在集群上分发1配置好的Hadoop配置文件
输入命令： scp -r $HADOOP_HOME root@hadoop103:$HADOOP_HOME 将配置分发给hadoop103
输入命令： scp -r $HADOOP_HOME root@hadoop104:$HADOOP_HOME 将配置分发给hadoop104
6、配置worekers
输入命令：vim worekers
在这里插入图片描述
5、进行初始化
输入命令：hdfs namenode -format 下面会出现很长一串
在这里插入图片描述
启动节点
输入命令：start-all.sh
在这里插入图片描述
在webUI 界面上查看 hdfs，浏览器输入 hadoop102:9870
在这里插入图片描述

4) 集群基本测试
(1) 上传文件到集群

输入命令：hdfs dfs -mkdrir /input 先在hdfs上创建一个 input目录
在这里插入图片描述
可以看到 hdfs 上已经有这个文件了
在这里插入图片描述
上传一个文件上去
输入命令： hdfs dfs -put jdk-8u212-linux-x64.tar.gz /input
在这里插入图片描述
可以看到文件已经上传上去了
在这里插入图片描述

5) 配置历史服务器

为了查看程序的历史运行情况，需要配置一下历史服务器，具体配置如下：
1、配置 mapred-site.xml
输入命令：vim mapred-site.xml
在这里插入图片描述

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
<!-- 指定 MapReduce 程序运行在 Yarn 上 -->
 <property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
 </property>
<!-- 历史服务器端地址 -->
<property>
 <name>mapreduce.jobhistory.address</name>
 <value>hadoop102:10020</value>
</property>
<!-- 历史服务器 web 端地址 -->
<property>
 <name>mapreduce.jobhistory.webapp.address</name>
 <value>hadoop102:19888</value>
</property>
</configuration>

2、分发配置
输入命令：scp -r /opt/hadoop-3.1.3/etc/hadoop/mapred-site.xml root@hadoop103:/opt/hadoop-3.1.3/etc/hadoop/mapred-site.xml mapred-site.xml
输入命令：scp -r /opt/hadoop-3.1.3/etc/hadoop/mapred-site.xml root@hadoop104:/opt/hadoop-3.1.3/etc/hadoop/mapred-site.xml mapred-site.xml
在这里插入图片描述
3、在hadoop102启动历史服务器
输入命令：mapred --daemon start historyserver
在这里插入图片描述

气质&末雨
关注
  • 1
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop运行环境搭建
weixin_42042774的博客
03-29 3792
分区： /boot引导用区-->1G；； swap交换区-->2G；标准分区； /根目录-->剩下的全部；标准分区；ext4 vi /etc/hostname 改hostname vi /etc/syscomfig/network-scripts/ifcfg-ens33 重启网络服务，查看网络是否改成功 systemctl restart network//重新启动 ip addr//查看ip ...
Hadoop开发环境搭建
z363115269的专栏
08-23 8878
Hadoop版本：2.4.0 集群运行环境：Ubuntu14.04 java version：1.7.0_
Hadoop生态系统环境搭建（Hadoop全分布式、Zookeeper集群、Mysql、Hive集群、Hbase集群、Redis集群、ElasticSearch集群）
helloWorld的博客
10-17 3096
Hadoop集群搭建，四台主机。安装了JDK、Hadoop、MySQL、Hive、Hbase、Redis、ElasticSearch、CDH。文章包含详细安装启动命令以及Web的UI界面
Hadoop环境搭建
美国梦中国心
06-29 6363
Hadoop是一个由Apache基金会所创建的分布式系统基础架构，主要解决海量数据的存储和海量数据的分析计算问题，从广义上来说hadoop是数据存储分包器，可以存储大量的数据。
Hadoop大数据开发基础
2302_76589790的博客
04-28 642
hadoop基本概念
【头歌】Hadoop开发环境搭建
qq_46048008的博客
05-09 2万+
配置开发环境是我们学习一门IT技术的第一步，Hadoop是基于Java开发的，所以我们学习Hadoop之前需要在Linux系统中配置Java的开发环境。
Hadoop环境搭建（全网最详细，保姆级教程）
m0_52931616的博客
07-08 2万+
搭建hadoop单机伪分布式环境
Hadoop环境搭建（保姆级教学）
R.W.Y的博客
06-03 7764
HADOOP环境搭建过程详解
GitChat·大数据 | 史上最详细的Hadoop环境搭建
热门推荐
技术杂谈
09-05 4万+
GitChat 作者：鸣宇淳 Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的扎实程度，会决定在大数据技术道路上走多远。这是一篇入门文章，Hadoop的学习方法很多，网上也有很多学习路线图。
Hadoop环境搭建（一）
scold301的博客
08-13 606
Hadoop基础环境准备
第3章hadoop伪分布式环境的搭建.docx
10-08
1. **Hadoop运行模式** - **本地模式**：在这种模式下，所有的Hadoop进程都在同一个JVM（Java虚拟机）中运行，主要用于快速验证代码和调试。 - **伪分布式模式**：尽管所有的Hadoop进程仍然在单台机器上运行，...
《大数据开发工程师系列：Hadoop & Spark大数据开发实战》1
08-03
接下来，书中会详细讲解Hadoop环境的配置，让读者了解如何搭建和管理Hadoop集群。Hadoop分布式文件系统（HDFS）是Hadoop的核心组件，用于存储大规模数据，书中会阐述其工作原理和操作方法。接着，分布式计算框架...
大数据学习环境搭建系列(一)大数据集群平台介绍.pdf
10-31
Hadoop集群有三种模式：单机模式（仅用于本地开发调试，HDFS不可用）、伪分布式（在同一节点上运行不同进程，支持HDFS）和分布式模式（多节点，适用于实际生产环境）。 - **Spark**：Spark是高效的数据处理框架，以...
零基础学习hadoop(编程篇) (2).pdf
05-30
在开始Hadoop开发之前，你需要搭建合适的开发环境，考虑到Windows和Linux系统的位数差异，需要确保JDK与系统匹配。通常，32位系统使用32位JDK，64位系统使用64位JDK。 Java分为J2SE、J2EE和J2ME三个版本： 1. **...
hdfs.pages
09-11
第1章 大数据概论 第2章 从Hadoop框架讨论大数据生态 第3章 Hadoop运行环境搭建（开发重点） 第4章 Hadoop运行模式 第5章 Hadoop编译源码
【大数据实训】—Hadoop开发环境搭建（一）
道阻且长，行则将至。
05-24 4042
因为JDK的压缩包有大概200M，所以我们已经在平台中为你下载好了JDK，不用你再去Oracle的官网去下载了，如果你要在自己的Linux系统中安装，那么还是需要下载的。配置开发环境是我们学习一门IT技术的第一步，Hadoop是基于Java开发的，所以我们学习Hadoop之前需要在Linux系统中配置Java的开发环境。也可以复制链接地址，在Linux系统中下载，不过复制链接地址不能直接下载，因为Oracle做了限制，地址后缀需要加上它随机生成的随机码，才能下载到资源。
大数据开发入门之hadoop
StevenBian的博客
10-12 518
Hadoop Distributed File Sysem，简称HDFS，是一个分布式文件系统。（1）NameNode（nn）：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间，副本数，文件权限），以及每个文件的块列表和块所在的DataNode等。（2）DataNode（dn）：在本地文件系统存储文件块数据，以及块数据的校验和。（3）Secondary NameNode（2nn）:每隔一段时间对NameNode元数据备份。简称YARN，另一种资源协调者，是Hadoop。
hadoop开发环境搭建
最新发布
05-11
搭建Hadoop开发环境需要以下步骤： 1. 安装Java：Hadoop是用Java编写的，因此首先需要安装Java运行环境。 2. 下载Hadoop：从官网下载Hadoop安装包。 3. 配置Hadoop：将Hadoop解压到指定目录，然后进行配置。主要...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值