hadoop 3.3大数据集群搭建系列1-安装hadoop

最新推荐文章于 2024-07-12 11:00:14 发布
最新推荐文章于 2024-07-12 11:00:14 发布
阅读量1.5k 收藏 12
点赞数 2
分类专栏： 大数据和数据仓库 # Hadoop大数据平台 文章标签： hadoop 大数据 hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010520724/article/details/127889643
版权

文章目录

一. 软硬件配置

1.1 主机配置及规划

hostnamehp5hp6hp7
ip10.31.1.11910.31.1.12010.31.1.121
内存8G8G8G
usernamerootrootroot
IP主机名功能
10.31.1.119hp5NameNode DataNode ResourceManager NodeManager
10.31.1.120hp6DataNode NodeManager
10.31.1.121hp7SecondryNameNode DataNode NodeManager

1.2 软件配置

软件版本
CentOS7.8
JavaJDK 8
Hadoop3.3.2

最开始使用open jdk11，后面安装hive和hudi的时候出了问题，改回JDK8版本后，问题解决。

1.3 安装常用的工具

yum install -y epel-release
yum install -y net-tools 
yum install -y vim

二. 安装前准备

2.1 设置主机名

hostname hadoop01 #设置临时主机名
vi /etc/hostname #设置永久主机名

2.2 设置hosts

10.31.1.119     hp5
10.31.1.120     hp6
10.31.1.121     hp7

2.3 关闭防火墙

systemctl stop firewalld #关闭防火墙
systemctl disable firewalld #禁用防火墙

2.4 ssh免密登陆

#在每个节点上执行(所有节点)
ssh-keygen -t rsa #输入内容直接回车
#将生成的公钥添加到免密登陆keys中(主节点)
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
#将公钥复制到2台从节点上(主节点)
scp ~/.ssh/id_rsa.pub root@hp6:~/
scp ~/.ssh/id_rsa.pub root@hp7:~/
#在从节点上将主节点的公钥添加到免密登陆keys中(非主节点)
cat ~/id_rsa.pub >> ~/.ssh/authorized_keys

2.5 ntpdate时间同步

yum -y install ntpdate
#同步时间
ntpdate -u ntp.sjtu.edu.cn
#定时同步,每小时整点执行一次
vi /etc/crontab
0 */1 * * * root ntpdate -u ntp.sjtu.edu.cn

三. 安装

3.1 安装hadoop

3.1.1 下载hadoop并解压

cd /home/software
#下载
wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.2/hadoop-3.3.2.tar.gz --no-check-certificate
#解压
tar -zxvf hadoop-3.3.2.tar.gz -C /home

3.1.2 配置hadoop_home环境变量

vi /etc/profile

export HADOOP_HOME=/home/hadoop-3.3.2

source /etc/profile

3.1.3 编辑etc/hadoop/hadoop-env.sh

cd /home/hadoop-3.3.2/etc/hadoop/
vi hadoop-env.sh
#添加如下内容
export JAVA_HOME=/usr/local/java/jdk1.8.0_211
export HADOOP_HOME=/home/hadoop-3.3.2
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export HADOOP_LOG_DIR=${HADOOP_HOME}/logs
export HADOOP_PID_DIR=${HADOOP_HOME}/pid

3.1.4 编辑etc/hadoop/core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hp5:8020</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop_repo</value>
   </property>
</configuration>

3.1.5 编辑etc/hadoop/hdfs-site.xml

<configuration>
  <property>
          <name>dfs.namenode.secondary.http-address</name>
          <value>hp5:50090</value>
  </property>
  <property>
          <name>dfs.replication</name>
          <value>3</value>
  </property>
  <property>
          <name>dfs.namenode.name.dir</name>
          <value>file:/home/hadoop-3.3.2/tmp/dfs/name</value>
  </property>
  <property>
          <name>dfs.datanode.data.dir</name>
          <value>file:/home/hadoop-3.3.2/tmp/dfs/data</value>
  </property>
</configuration>

3.1.6 编辑etc/hadoop/mapred-site.xml

<!--修改为如下内容：-->
<configuration>
  <property>
          <name>mapreduce.framework.name</name>
          <value>yarn</value>
  </property>
  <property>
          <name>mapreduce.jobhistory.address</name>
          <value>hp5:10020</value>
  </property>
  <property>
          <name>mapreduce.jobhistory.webapp.address</name>
          <value>hp5:19888</value>
  </property>
  <property>
          <name>yarn.app.mapreduce.am.env</name>
          <value>HADOOP_MAPRED_HOME=/home/hadoop-3.3.2</value>
  </property>
  <property>
          <name>mapreduce.map.env</name>
          <value>HADOOP_MAPRED_HOME=/home/hadoop-3.3.2</value>
  </property>
  <property>
          <name>mapreduce.reduce.env</name>
          <value>HADOOP_MAPRED_HOME=/home/hadoop-3.3.2</value>
  </property>
</configuration>

3.1.7 编辑etc/hadoop/yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>hp5</value>
	</property>
		<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>
	<property>
		<name>yarn.log.server.url</name>
		<value>http://hp5:19888/jobhistory/logs/</value>
	</property>
	<property>
		<name>yarn.nodemanager.resource.memory-mb</name>
		<value>8192</value>
	</property>
	<property>
		<name>yarn.nodemanager.resource.cpu-vcores</name>
		<value>8</value>
	</property>
	#分配给每个Container（容器）的最小执行内存
	<property>
		<name>yarn.scheduler.minimum-allocation-mb</name>
		<value>128</value>
	</property>
</configuration>

3.1.8 编辑etc/hadoop/workers

hp5
hp6
hp7

3.1.9 编辑启动脚本

cd sbin
# 都加在脚本最前面
vi start-dfs.sh
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

vi stop-dfs.sh
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

vi start-yarn.sh
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

vi stop-yarn.sh
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

3.1.10 格式化HDFS

#将hadoop拷贝到其它节点
#格式化namenode节点
cd /home/hadoop-3.3.2/bin
bash hdfs namenode -format
#出现如下信息说明格式化成功
common.Storage: Storage directory /home/hadoop_repo/dfs/name has been successfully formatted.

image.png

3.1.11 启动集群

cd /home/hadoop-3.3.2/sbin
./start-all.sh #启动集群
./stop-all.sh #停止集群

cd /home/hadoop-3.3.2/bin/
./mapred --daemon start historyserver#每个节点启动

3.1.12 验证

#主节点jps
NameNode
SecondaryNameNode
ResourceManager
#从节点jps
DataNode
NodeManager

image.png
image.png
image.png

3.1.13 查看集群信息

#资源信息查看
http://10.31.1.119:8088/
#存储节点信息查看
http://10.31.1.119:9870/

3.1.14 命令查看日志

#资源信息查看
cd /home/hadoop-3.3.2/bin/
./yarn logs -applicationId application_1639553331593_0001

参考:

  1. https://blog.csdn.net/xiamu17/article/details/123760030
  2. https://blog.csdn.net/weixin_41083358/article/details/121775005
  3. https://zhuanlan.zhihu.com/p/534729570
  4. https://blog.csdn.net/u011109589/article/details/124852278
只是甲
关注
  • 2
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop-3.0.3
10-24
hadoop-3.0.3 的linux 安装包！
hadoop 使用 maven3.3 仓库 3
05-23
hadoop 使用 maven3.3 仓库3
解决wget下载Hadoop出现连接不成功，拒绝访问的情况
abebrave的博客
06-16 1912
wget安装Hadoop
Apache Hadoop （hadoop-3.3.3.tar.gz）
05-28
Apache Hadoop （hadoop-3.3.3.tar.gz）项目为可靠、可扩展的分布式计算开发开源软件。 Apache Hadoop 软件库是一个框架，它允许使用简单的编程模型跨计算机集群分布式处理大型数据集。它旨在从单个服务器扩展到数千台机器，每台机器都提供本地计算和存储。库本身不是依靠硬件来提供高可用性，而是设计用于检测和处理应用层的故障，因此在计算机集群之上提供高可用性服务，每台计算机都可能容易出现故障。
Hadoop3.3.6完全分布式集群【三个节点】的安装配置
最新发布
weixin_45962133的博客
07-12 1243
hadoop3.3.6完全分布式集群部署，三个节点配置
hadoop分布式部署(Hadoop-3.3)
weixin_43558498的博客
04-24 1517
准备三台虚拟机
hadoop-3.3.0.tar.gz
08-21
hadoop-3.3.0.tar.gz
hadoop集群搭建教程
03-07
- **规划安装目录**: `/usr/local/apps/hadoop-2.6.5`。 - **解压安装包**。 - **修改配置文件**: - `hadoop-env.sh`: 设置JDK路径。 - `core-site.xml`: 配置Hadoop的文件系统类型等。 - `hdfs-site.xml`: 配置...
hadoop3.3.0-winutils所有bin文件
02-27
Hadoop是Apache软件基金会开发的一个开源分布式计算框架，它允许在大规模集群上处理海量数据。Hadoop 3.3.0是该框架的一个版本，它带来了许多改进和新特性，旨在提升性能、稳定性和可扩展性。WinUtils是Hadoop在...
hadoop3.3+jdk1.8.zip
12-14
综上所述，"hadoop3.3+jdk1.8.zip"压缩包为用户提供了搭建Hadoop集群的基础，包括了稳定运行Hadoop所需的JDK版本和优化的Snappy支持。通过使用这个压缩包，用户能够快速部署一个高效的大数据处理环境，利用Hadoop的...
longhai3395#BigData-Notes#Hadoop集群环境搭建1
07-25
3.1 生成密匙 3.2 免密登录 3.3 验证免密登录 3.1 下载并解压 3.2 配置环境变量 3.3 修改配置 3.4 分发程序 3.5 初始化 3.6
Hadoop完全分布式搭建（Hadoop-3.3.0)
qq_73866060的博客
03-31 1597
本教程讲解Hadoop-3.3.0在Ubuntu系统下集群的搭建。在正式开始之前，需要自己先安装好一台虚拟机。
hadoop3.3.0安装详解
u013543671的博客
08-10 1615
目录 一、Hadoop3.3安装 1.1下载hadoop 1.2解压hadoop 1.3新建目录 1.4修改hadoop配置文件 1.5修改/etc/profile 二、启动hadoop 2.1hadoop初始化 2.2启动hadoop 三、测试hadoop 四、使用hadoop 背景本地vmware安装三台centos7的虚拟机，主机名和ip地址分别为hserver1:192.168.127.128；hserver2:192.168.127.129；hserver3:192..
hadoop(二：hadoop3.3.0搭建，HDFS shell 命令，MapReduce程序）
m0_73905064的博客
07-12 1986
上传1.txt文件(里面是一些单词)到HDFS1.txt。
Hadoop3.3.0集群安装
学无止境，永不停歇
08-04 7396
Hadoop3.3.0集群安装1.集群规划2.关闭防火墙3.设置静态IP，修改主机名，以及创建集群账号4.关机，快照，克隆5.编写一个分发脚本6.配置免密登陆7.安装Java和Hadoop8.安装hadoop集群9.通过网页访问hdfs集群的状态10.通过网页访问YARN集群的状态寄语 环境：JDK1.8 Centos 7.8 Hadoop 3.3.0 1.集群规划 在VMWare中构建3台运行Centos的机器作为服务器，一共3个node，一个node为namenode（master主机） ，另外两个no
Hadoop3.3.3安装
李子园
06-07 1527
最新Hadoop3.3.3安装，单机版本
Hadoop3.3.6（HDFS、YARN、MapReduce）完全分布式集群安装搭建
weixin_43655425的博客
12-08 1733
一文搞定Hadoop完全分布式部署
Hadoop3.3.0入门到架构篇之二
summer12580的博客
08-20 350
HDFS文件系统 HDFS(Hadoop Distributed File System) : 分布式文件系统,适合一次写入,多次读出的场景,不支持文件修改,适合做数据分析,不适合做网盘类似应用. 优点: (1)高容错性 : 增加副本形式,提高容错性 (2)适合处理大数据 规模大,数据级别高(GB,TB,PB…) (3)可构建在廉价机器上,通过增加副本提高可靠性 缺点: (1)不适合实时性,低延迟数据访问(ms级做不到) (2)大量小文件存储低效,Namenode大量内存来存索引和块信息,大量小文件存储寻址
大数据集群实战：Hadoop-HBase-Spark-Hive搭建步骤
"该资源是一个关于大数据处理技术的教程，主要涵盖了Hadoop、HBase、Spark和Hive的集群搭建过程。由七月在线提供，旨在帮助用户了解和实践大数据环境的构建。" 在这个教程中，你将学习如何一步步构建一个高效运行...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值