Hadoop集群分布式安装

已于 2022-03-06 10:19:31 修改
阅读量1.6k 收藏
点赞数
分类专栏： 自学笔记 文章标签： linux hadoop
于 2022-03-05 20:24:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/syy517/article/details/123300339
版权
  • 先创建三台linux的虚拟机
  • 先创建三台linux的虚拟机+
  • 先删除linux自带的，在安装自己环江所需要的jdk

命令：rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

rpm===>Linux管理包的工具
qa===>使用询问模式查询所有套件
grep -i===>输入参数,忽略大小写
xargs -n1===>命令传递参数,一次执行一个命令
pm -e===>删除指定的套件
nodeps===>不验证套件档的相互关联性

  • 集群规划
    主机 角色
    node1 NN DN RM NM
    node2 SNN DN NM
    node3 DN NM

  • 基础环境
    3台机器都需要操作
    # 主机名
    cat /etc/hostname

    # hosts映射
vim /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.88.151 node1.itcast.cn node1
192.168.88.152 node2.itcast.cn node2
192.168.88.153 node3.itcast.cn node3

# JDK 1.8安装  上传 jdk-8u241-linux-x64.tar.gz到/export/server/目录下
cd /export/server/
tar zxvf jdk-8u241-linux-x64.tar.gz

	#配置环境变量
	vim /etc/profile
	
	export JAVA_HOME=/export/server/jdk1.8.0_241
	export PATH=$PATH:$JAVA_HOME/bin
	export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
	
	#重新加载环境变量文件
	source /etc/profile

# 集群时间同步
ntpdate ntp5.aliyun.com（只要是新建虚拟机时选择的时区相同，并且联网，这条语句并不重要）

# 防火墙关闭
firewall-cmd --state	#查看防火墙状态
systemctl stop firewalld.service  #停止firewalld服务
systemctl disable firewalld.service  #开机禁用firewalld服务

# ssh免密登录（只需要配置node1至node1、node2、node3即可）

	#node1生成公钥私钥 (一路回车)
	ssh-keygen  
	
	#node1配置免密登录到node1 node2 node3
	ssh-copy-id node1
	ssh-copy-id node2
	ssh-copy-id node3

  • 上传Hadoop安装包到node1 /export/server

hadoop-3.3.0-Centos7-64-with-snappy.tar.gz
tar zxvf hadoop-3.3.0-Centos7-64-with-snappy.tar.gz

  • 修改配置文件(配置文件路径 hadoop-3.3.0/etc/hadoop)
    • hadoop-env.sh

#文件最后添加
export JAVA_HOME=/export/server/jdk1.8.0_241

    export HDFS_NAMENODE_USER=root
    export HDFS_DATANODE_USER=root
    export HDFS_SECONDARYNAMENODE_USER=root
    export YARN_RESOURCEMANAGER_USER=root
    export YARN_NODEMANAGER_USER=root
  • core-site.xml
  <!-- 设置默认使用的文件系统 Hadoop支持file、HDFS、GFS、ali|Amazon云等文件系统 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://node1:8020</value>
    </property>
    
    <!-- 设置Hadoop本地保存数据路径 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/export/data/hadoop-3.3.0</value>
    </property>
    
    <!-- 设置HDFS web UI用户身份 -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>root</value>
    </property>
    
    <!-- 整合hive 用户代理设置 -->
    <property>
        <name>hadoop.proxyuser.root.hosts</name>
        <value>*</value>
    </property>
    
    <property>
        <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
    </property>
    
    <!-- 文件系统垃圾桶保存时间 -->
    <property>
        <name>fs.trash.interval</name>
        <value>1440</value>
    </property>

  • hdfs-site.xml

     <!-- 设置SNN进程运行机器位置信息 -->
 <property>
     <name>dfs.namenode.secondary.http-address</name>
     <value>node2:9868</value>
 </property>

  • mapred-site.xml

      <!-- 设置MR程序默认运行模式： yarn集群模式 local本地模式 -->
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  
  <!-- MR程序历史服务地址 -->
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>node1:10020</value>
  </property>
   
  <!-- MR程序历史服务器web端地址 -->
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>node1:19888</value>
  </property>
  
  <property>
    <name>yarn.app.mapreduce.am.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  </property>
  
  <property>
    <name>mapreduce.map.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  </property>
  
  <property>
    <name>mapreduce.reduce.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  </property>
    • yarn-site.xml
    <property>
    	<name>yarn.resourcemanager.hostname</name>
    	<value>node1</value>
    </property>
    
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    
    <!-- 是否将对容器实施物理内存限制 -->
    <property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
    </property>
    
    <!-- 是否将对容器实施虚拟内存限制。 -->
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>
    
    <!-- 开启日志聚集 -->
    <property>
      <name>yarn.log-aggregation-enable</name>
      <value>true</value>
    </property>
    
    <!-- 设置yarn历史服务器地址 -->
    <property>
        <name>yarn.log.server.url</name>
        <value>http://node1:19888/jobhistory/logs</value>
    </property>
    
    <!-- 历史日志保存的时间 7天 -->
    <property>
      <name>yarn.log-aggregation.retain-seconds</name>
      <value>604800</value>
    </property>
  • workers

node1[.itcast.cn]
node2[.itcast.cn]
node3[.itcast.cn]

  • 分发同步hadoop安装包

cd /export/server

  scp -r hadoop-3.3.0 root@node2:$PWD
  scp -r hadoop-3.3.0 root@node3:$PWD

  • 将hadoop添加到环境变量（3台机器）
    vim /etc/profile

    export HADOOP_HOME=/export/server/hadoop-3.3.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile


#别忘了scp给其他两台机器哦

  • Hadoop集群启动

    • （首次启动）格式化namenode

hdfs namenode -format

  • 脚本一键启动

    ```[root@node1 ~]# start-dfs.sh 
Starting namenodes on [node1]
Last login: Thu Nov  5 10:44:10 CST 2020 on pts/0
Starting datanodes
Last login: Thu Nov  5 10:45:02 CST 2020 on pts/0
Starting secondary namenodes [node2]
Last login: Thu Nov  5 10:45:04 CST 2020 on pts/0

[root@node1 ~]# start-yarn.sh 
Starting resourcemanager
Last login: Thu Nov  5 10:45:08 CST 2020 on pts/0
Starting nodemanagers
Last login: Thu Nov  5 10:45:44 CST 2020 on pts/0

  • Web UI页面

    • HDFS集群：http://node1:9870/
    • YARN集群：http://node1:8088/

  • 同时需要添加虚拟机在本地主机的主机映射，以便可以通过别名访问web ui界面

  • 错误1:运行hadoop3官方自带mr示例出错。

    • 错误信息

       
 Please check whether your etc/hadoop/mapred-site.xml contains the below configuration:
 <property>
   <name>yarn.app.mapreduce.am.env</name>
   <value>HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}</value>
 </property>
 <property>
   <name>mapreduce.map.env</name>
   <value>HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}</value>
 </property>
 <property>
   <name>mapreduce.reduce.env</name>
   <value>HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}</value>
 </property>

    • 解决 mapred-site.xml,增加以下配置

         <name>yarn.app.mapreduce.am.env</name>
   <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
 </property>
 <property>
   <name>mapreduce.map.env</name>
   <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
 </property>
 <property>
   <name>mapreduce.reduce.env</name>
   <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
 </property>
MoonSun611
关注
专栏目录
HADOOP(3.3.2)安装
shuergang1的博客
05-25 1399
HADOOP的安装方式，每种方式的安装实现
Hadoop Docker 安装
weixin_45526462的博客
07-14 845
准备JDK安装包下载Hadoop，官网提供Source和Binary两种方式，这里采用的是Binary的Hadoop-3.3.3.tar.gz。停服问题准备DockerFile 等待更新… 4 5 6 7 8 9 9docker run -itd --network 网络名 --ip 地址 -p 端口:22 -p 端口:9870 -p 端口:9000 -p 端口:9864 -p 端口:9866 -p 端口:8088 -v /usr/local/docker-data/地址:/usr/local/docker
hadoop集群环境搭建
最新发布
lu070828的博客
01-03 1005
其他涉及的安装包可以从我分享的网盘中下载：链接: https://pan.baidu.com/s/1t6PZwbtzwk0qsRlbEbsd4A提取码: p4pxip主机名配置磁盘操作系统32核 256G内存3T32核 256G内存3T48核 376G内存3T48核 376G内存3Tip主机名配置NNDNJNZKFCZKRMNM32核 256G内存√√√32核 256G内存√√√√√48核 376G内存√√√√√√。
hadoop-3.2.2.tar.gz
09-27
64位centos7编译hadoop3.2.2
hadoop-3.2.3.tar.gz
04-01
hadoop-3.2.3.tar.gz 安装包
hadoop完全分布式集群安装
CV前沿
04-25 2172
因为机器学习，接触到了数据挖掘；因为数据挖掘，接触到了大数据；因为大数据，接触到了hadoop。之前有过hadoop的简单了解，但都是基于别人提供的hadoop来学习和使用，虽然也很好用 ，终究不如自己的使用起来方便 。经过这两天参考大量网上的经验，终于成功的搭建了自己的hadoop完全分布式环境。现在我把所有的安装思路、安装过程中的截图以及对待错误的经验总结出来，相信安装这个思路去做，hadoop
Hadoop分布式集群安装配置步骤
煉心的博客
02-07 2049
之前介绍过Hadoop伪分布式模式的安装配置步骤，现在记录一下分布式集群的安装配置步骤，本文使用3台测试服务器，下面是各服务器的角色：   - node1：NameNode, SecondaryNameNode, DataNode, NodeManager - node2：DataNode, NodeManager, ResourceManager - node3：DataNode, No
hadoop伪分布式安装.pdf
10-22
### Hadoop伪分布式安装知识点详解 #### 一、Hadoop伪分布式概述 Hadoop是一种能够处理海量数据的大规模分布式计算框架。它通过将任务分解到多个计算机节点上并行处理来提高数据处理效率。Hadoop支持多种运行模式，...
部署全分布模式Hadoop集群 实验报告
04-18
部署全分布模式Hadoop集群 实验报告一、实验目的 1. 熟练掌握 Linux 基本命令。 2. 掌握静态 IP 地址的配置、主机名和域名映射的修改。 3. 掌握 Linux 环境下 Java 的安装、环境变量的配置、Java 基本命令的使用。 ...
Hadoop技术-Hadoop完全分布式安装.pptx
11-02
"Hadoop技术-Hadoop完全分布式安装" Hadoop技术是当前最流行的分布式计算框架之一，广泛应用于数据存储、数据处理和数据分析等领域。Hadoop完全分布式安装是指在多台机器上安装和配置Hadoop，以便更好地处理大规模...
hadoop-3.3.0.tar.gz
08-21
hadoop-3.3.0.tar.gz
hadoop-3.3.2
03-10
hadoop-3.3.2
hadoop-3.1.2.tar.gz
08-22
linux上安装hadoop,hadoop版本为3.1.2，方便可以，
hadoop组件tar.gz安装包
08-21
包括hadoop,hive,hbase,jdk,mysql,flume,sqoop.xshell等常用组件，组件全部兼容
基于Hadoop的分布式集群大数据动态存储系统设计.pdf
08-08
为了解决这些问题，本文提出了一种基于Hadoop的分布式集群大数据动态存储系统的设计方案。 首先，需要明确Hadoop在大数据处理中的地位和作用。Hadoop是一个开源的分布式存储和计算平台，它提供了一套完整的生态系统...
Hadoop技术-Hadoop伪分布式安装.pptx
11-02
Hadoop技术-Hadoop伪分布式安装 Hadoop技术是当前大数据处理和存储领域中最流行的技术之一，Hadoop伪分布式安装是Hadoop技术中的一个重要组件。本文将详细介绍Hadoop伪分布式安装的步骤和配置过程。 一、Hadoop伪...
Hadoop3.3.2 完全分布式集群构建步骤【无脑版】
software_0215的专栏
04-15 3435
hadoop 完全分布式 集群 linux
hadoop3.3.2安装记录
newbrid007的博客
03-05 1240
ps.由于以前为了方便一直使用CDH版本但是内存占用台列害 电脑32G 内存已经顶天不支持升级了 心思平时学习的时候那么卡就想着 手动搭建一个hadoop 踩坑和搭建的过程记录下 方便自己加深印象和学习 一：首先安装linux 准备虚拟机3台 1） 查看防火墙状态 ：systemctl status firewalld 临时关闭：systemctl stop firewalld 开机关闭：systemctl disable firewalld 2）关闭美国联邦一个安全协议 查看下状态 /usr/sbi
Hadoop 2.0.3 分布式集群安装指南
“Hadoop安装文档提供了关于Hadoop安装部署的详细步骤，涵盖了Hadoop的核心组件、集群架构以及必要的系统配置。” Hadoop是一个由Apache软件基金会维护的开源分布式计算平台，其核心组件包括Hadoop分布式文件系统...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值