Hadoop部署

最新推荐文章于 2023-02-05 23:07:30 发布
最新推荐文章于 2023-02-05 23:07:30 发布
阅读量507 收藏
点赞数
分类专栏： 大数据 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46886475/article/details/128243747
版权

一、基础配置

关闭防火墙及SELinux（所有服务器）

[root@master ~]# systemctl stop firewalld
[root@master ~]# setenforce 0
setenforce: SELinux is disabled
[root@master ~]# vi /etc/hosts   （添加映射）
192.168.200.98 master
192.168.200.99 slave1
192.168.200.100 slave2
192.168.200.110 slave3

配置ssh免密

[root@master ~]# ssh-keygen -t rsa     （一路回车）
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): 
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /root/.ssh/id_rsa.
#####部分省略
[root@master ~]# ssh-copy-id master
[root@master ~]# ssh-copy-id slave1
[root@master ~]# ssh-copy-id slave2
[root@master ~]# ssh-copy-id slave3
[root@master ~]# scp /etc/hosts root@192.168.200.99:/etc/
[root@master ~]# scp /etc/hosts root@192.168.200.100:/etc/
[root@master ~]# scp /etc/hosts root@192.168.200.110:/etc/

二、安装服务过程（全分布）

安装JDK

[root@master opt]# ll
-rw-r--r-- 1 root root 212046774 6月  29 2019 hadoop-2.7.2.tar.gz
-rw-r--r-- 1 root root 185540433 6月  29 2019 jdk-8u131-linux-x64.tar.gz
[root@master opt]# tar xf jdk-8u131-linux-x64.tar.gz
[root@master opt]# vi /etc/profile
#JAVA
export JAVA_HOME=/opt/jdk1.8.0_131
export PATH=$PATH:$JAVA_HOME/bin
[root@master opt]# source !$
[root@master opt]# java -version
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

####相同步骤复制到各节点，部分内容省略
[root@master opt]# scp -r jdk1.8.0_131/ slave1:/opt/
[root@master opt]# scp /etc/profile slave1:/etc/

安装Hadoop

[root@master opt]# tar xf hadoop-2.7.2.tar.gz
[root@master opt]# cd hadoop-2.7.2/etc/hadoop/
[root@master hadoop]# vi core-site.xml 
<configuration>

        <property>
                 <name>fs.defaultFS</name>
                <value>hdfs://master:8020</value>
        </property>

        <property>
                <name>io.file.buffer.size</name>
                <value>4096</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/hadoop-2.7.2/data</value>

        </property>
        <property> 
                 <name>hadoop.http.staticuser.user</name>
                <value>root</value> 
        </property>
</configuration>

修改hdfs-site.xml

[root@master hadoop]# vi hdfs-site.xml
<configuration>
                <property>     配置副本因子
                        <name>dfs.replication</name>
                         <value>3</value>
                </property>

                <property>       配置块大小
                        <name>dfs.block.size</name>
                        <value>134217728</value>
                </property>

                <property>         配置元数据的存储位置
                         <name>dfs.namenode.name.dir</name>
                         <value>file:///opt/data/dfs/name</value>
                </property>

                <property>          配置datanode数据存放位置
                        <name>dfs.datanode.data.dir</name>
                        <value>/opt/data/dfs/data</value>
                </property>

                <property>          配置fs检测目录存放位置
                           <name>fs.checkpoint.dir</name>
                          <value>/opt/data/checkpoint/dfs/cname</value>
                </property>

                <property>       配置hdfs的namenode的web ui地址
                          <name>dfs.http.address</name>
                          <value>master:50070</value>
                </property>

                <property>           配置dfs的SNN的web ui地址
                           <name>dfs.secondary.http.address</name>
                           <value>slave1:50090</value>
                </property>

                <property>        是否开启web操作dfs
                           <name>dfs.webhdfs.enabled</name>
                           <value>true</value>
                </property>

                <property>          是否启用hdfs的权限
                          <name>dfs.permissions</name>
			              <value>false</value>
                </property>
</configuration>

修改mapred-site.xml

[root@master hadoop]# vi mapred-site.xml

<configuration>

			<property>       指定mapreduce运行框架
          			<name>mapreduce.framework.name</name>
          			<value>yarn</value>
        			  <final>true</final>
			</property>

				<property>         历史服务的通信地址
       				  <name>mapreduce.jobhistory.address</name>
     				   <value>master:10020</value>
				</property>

				<property>           历史服务的web ui通信地址
          				 <name>mapreduce.jobhistory.webapp.address</name>
          				 <value>master:19888</value>
				</property>

</configuration>

修改yarn-site.xml

[root@master hadoop]# vi yarn-site.xml

<configuration>

					<property>          指定resourcemanager所在的主机名
  								 <name>yarn.resourcemanager.hostname</name>
  								 <value>master</value>
					</property>
			
					<property>        指定mapreduce的shuffle
  							 <name>yarn.nodemanager.aux-services</name>
  							 <value>mapreduce_shuffle</value>
					</property>

					<property>          指定resourcemanager内部通信地址
 				 				 <name>yarn.resourcemanager.address</name>
				   				<value>master:8032</value>
					</property>

					<property>           指定scheduler的内部通信地址
					   					<name>yarn.resourcemanager.scheduler.address</name>
  								 <value>master:8030</value>
					</property>

					<property>         指定rm的resource-tracker的内部通信地址
  								 <name>yarn.resourcemanager.resource-tracker.address</name>
 								  <value>master:8031</value>
					</property>

					<property>       指定rm的admin的内部通信地址
 								  <name>yarn.resourcemanager.admin.address</name>
 									<value>master:8033</value>
					</property>

					<property>  指定rm的web ui地址
  								 <name>yarn.resourcemanager.webapp.address</name>
								   <value>master:8088</value>
					</property>

					<property>   <!-- 开启日志聚集功能 -->
    									<name>yarn.log-aggregation-enable</name>
									    <value>true</value>
					</property>

					<property>   <!-- 设置日志聚集服务器地址 -->
 								   <name>yarn.log.server.url</name>
   								 <value>http://master:19888/jobhistory/logs</value>
					</property>

					<property>   <!-- 设置日志保留时间为 7 天 -->
    									<name>yarn.log-aggregation.retain-seconds</name>
  								  <value>604800</value>
					</property>
</configuration>

修改hadoop-env.sh

[root@master hadoop]# vi hadoop-env.sh 
export JAVA_HOME=/opt/jdk1.8.0_131

添加节点信息，可写主机名

[root@master hadoop]# vi slaves 
192.168.200.98
192.168.200.99
192.168.200.100
192.168.200.110

设置Hadoop变量

[root@master hadoop]# vi /etc/profile
#HADOOP
export HADOOP_HOME=/opt/hadoop-2.7.2
export PATH=$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

将修改完配置的Hadoop拷贝到Slave节点*

[root@master opt]# scp -r hadoop-2.7.2 slave1:/opt/
[root@master opt]# scp -r hadoop-2.7.2 slave2:/opt/
[root@master opt]# scp -r hadoop-2.7.2 slave3:/opt/

格式化Namenode

[root@master hadoop]# ./hadoop namenode -format
#出现这条说明格式化成功
**INFO common.Storage: Storage directory /opt/data/dfs/name has been successfully formatted.**
部分省略.......

三、启动方式

1、全启动

[root@master sbin]# ./start-all.sh 
This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
Starting namenodes on [master]
master: starting namenode, logging to /opt/hadoop-2.7.2/logs/hadoop-root-namenode-master.out
192.168.200.98: starting datanode, logging to /opt/hadoop-2.7.2/logs/hadoop-root-datanode-master.out
192.168.200.99: starting datanode, logging to /opt/hadoop-2.7.2/logs/hadoop-root-datanode-slave1.out
192.168.200.100: starting datanode, logging to /opt/hadoop-2.7.2/logs/hadoop-root-datanode-slave2.out
192.168.200.110: starting datanode, logging to /opt/hadoop-2.7.2/logs/hadoop-root-datanode-slave3.out
Starting secondary namenodes [slave1]
slave1: starting secondarynamenode, logging to /opt/hadoop-2.7.2/logs/hadoop-root-secondarynamenode-slave1.out
starting yarn daemons
starting resourcemanager, logging to /opt/hadoop-2.7.2/logs/yarn-root-resourcemanager-master.out
192.168.200.98: starting nodemanager, logging to /opt/hadoop-2.7.2/logs/yarn-root-nodemanager-master.out
192.168.200.99: starting nodemanager, logging to /opt/hadoop-2.7.2/logs/yarn-root-nodemanager-slave1.out
192.168.200.110: starting nodemanager, logging to /opt/hadoop-2.7.2/logs/yarn-root-nodemanager-slave3.out
192.168.200.100: starting nodemanager, logging to /opt/hadoop-2.7.2/logs/yarn-root-nodemanager-slave2.out

2、模式启动

[root@master sbin]# ./start-dfs.sh 
[root@master sbin]# ./start-yarn.sh

3、进程启动

[root@master sbin]# hadoop-daemon.sh start namenode
[root@master sbin]# hadoop-daemons.sh start datanode
[root@master sbin]# yarn-daemon.sh start namenode
[root@master sbin]# yarn-daemons.sh start datanode

四、测试

访问HDFS 50070页面
在这里插入图片描述

访问YARN 8088 页面
在这里插入图片描述

五、命令行

1、HDFS

[root@master hadoop]# hadoop fs -mkdir /test    #HDFS创建目录
[root@master hadoop]# hadoop fs -ls /
Found 1 items
drwxr-xr-x   - root supergroup          0 2022-12-09 00:00 /test
[root@master hadoop]# hadoop fs -put /opt/hadoop-2.7.2/etc/hadoop/core-site.xml /test/  #上传文件至HDFS
[root@master hadoop]# hadoop fs -ls /test/
Found 1 items
-rw-r--r--   3 root supergroup        441 2022-12-09 00:01 /test/core-site.xml
[root@master hadoop]# hadoop fs -du -s -h  /test/core-site.xml    #查看文件占用
441  /test/core-site.xml

命令行操作可参照官方地址：https://hadoop.apache.org/docs/r1.0.4/cn/commands_manual.html

2、YARN

[root@master hadoop]# yarn application -list   #查看任务
22/12/09 00:05:40 INFO client.RMProxy: Connecting to ResourceManager at master/192.168.200.98:8032
Total number of applications (application-types: [] and states: [SUBMITTED, ACCEPTED, RUNNING]):0
                Application-Id	    Application-Name	    Application-Type	      User	     Queue	             State	       Final-State	       Progress	                       Tracking-URL
 
 [root@master hadoop]# yarn node -list -all    #查看节点状态
22/12/09 00:09:33 INFO client.RMProxy: Connecting to ResourceManager at master/192.168.200.98:8032
Total Nodes:4
         Node-Id	     Node-State	Node-Http-Address	Number-of-Running-Containers
    slave3:36736	        RUNNING	      slave3:8042	                           0
    slave2:33586	        RUNNING	      slave2:8042	                           0
    master:35013	        RUNNING	      master:8042	                           0
    slave1:41883	        RUNNING	      slave1:8042	                           0

 **查看程序状态**   
 yarn application -list -appStates FINISHED
 根据Application状态过滤：yarn application -list -appStates （所有状态：ALL、NEW、NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED、KILLED）
 
**Kill掉Application**
yarn application -kill application_1612577921195_0001

**查看任务日志**
例：查询Application日志：yarn logs -applicationId <ApplicationId>
yarn logs -applicationId application_1612577921195_0001

**查看所有容器**
列出所有Container：yarn container -list <ApplicationAttemptId>
yarn container -list appattempt_1612577921195_0001_000001

**查看容器状态**
打印Container状态：    yarn container -status <ContainerId>
yarn container -status container_1612577921195_0001_01_000001
Linux咸鱼
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop大数据_安装jdk、hadoop
lhy857的博客
04-10 2333
安装jdk 一、开启网络,ifconfig指令查看ip 二、修改主机名 hostnamectl set-hostname hadoop 三、查看防火墙状态并打开防火墙 1.firewall-cmd --state查看防火墙状态 2.systemctl start iptables.service打开防火墙 3.reboot 重启Linux 四、删除已有的jdk 查看java安装版本：java -version 查看java安装包：rpm -qa|grep java 删除java安装包：
hadoop安装部署
weixin_48143996的博客
10-06 3万+
hadoop安装部署 这里写目录标题hadoop安装部署安装流程1、Hadoop安装部署1、1Hadoop安装部署 安装流程 1、 上传软件包到管理节点，在管理节点解压并配置 2、 将修改完的解压包，远程拷贝到所有的从节点 3、 启动软件 1、Hadoop安装部署 1、1Hadoop安装部署 1、 软件包上传并解压 a) tar -zxvf hadoop-2.6.0-cdh5.14.0-with-centos6.9.tar.gz -C …/servers/ 2、 第二步查看hadoop支持的压缩方式以及本
hadoop部署与集群运维
02-02
里面讲了一些hadoo是如何部署与运维的知识点，希望对初学者有所帮助！
hadoop 部署
11-22
在“hadoop 部署”这个主题中，我们首先要理解Hadoop的部署架构。Hadoop通常被部署在集群环境中，由多个节点组成，包括NameNode、DataNode、ResourceManager、NodeManager等组件。NameNode是HDFS的元数据管理节点，...
Hadoop部署实践
06-18
hadoop本地、伪分布、真分布、HA四种模式的实践文档。基于vmware搭建的环境。
hadoop部署文档
10-30
Linux虚机手工安装Apache Hadoop的步骤。这个安装只有HDFS、YARN、MapReduce等基本组件，不包含任何其他的Hadoop组件。如果需要使用Hive、HBase、Spark等其他工具，需要在此基础上手工安装
hadoop的单机版测试和集群节点的搭建
Treasured ——的博客
04-10 681
Hadoop技术原理： Hdfs主要模块：NameNode、DataNode Yarn主要模块：ResourceManager、NodeManager HDFS主要模块及运行原理： 1）NameNode： 功能：是整个文件系统的管理节点。维护整个文件系统的文件目录树，文件/目录的元数据和 每个文件对应的数据块列表。接收用户的请求。 2）DataNode： 功能：是HA（高可用性）的一个解...
Hadoop（部署篇）
qq_40322236的博客
02-05 1375
Hadoop 运行模式包括：本地模式、伪分布式模式以及完全分布式模式。
Hadoop：Hadoop集群的部署
Xiao Miao的博客
04-23 642
Hadoop集群的部署
GitChat·大数据 | 史上最详细的Hadoop环境搭建
热门推荐
技术杂谈
09-05 4万+
GitChat 作者：鸣宇淳 Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的扎实程度，会决定在大数据技术道路上走多远。这是一篇入门文章，Hadoop的学习方法很多，网上也有很多学习路线图。
Hadoop的部署教程
Stevenson的博客
07-19 1087
Hadoop的部署教程 第一步创建hadoop用户 第二步系统更新 第三步安装SSHserver、配置SSH无密钥登录 第四步安装Java环境 第五步网络配置 第六步安装Hadoop 第七步配置集群分布式环境 第八步执行分布式实例 因为该教程是在三台远程虚拟机上搭建的，三台虚拟机的IP地址如下： 192.168.3.53 作为Mater 192.168.3.54 作为Slave1 192.
Linux NFS 文件共享配置
10-11 654
一、Linux  NFS 文件共享配置 　　以root 身份登陆Linux 服务器，编辑/etc 目录下的共享目录配置文件exports，指定共享目录及权限等。 　　执行如下命令编辑文件/etc/exports： 　　# vi /etc/exports 　　在该文件里添加如下内容： 　　/home/work 192.168.0.*（rw,sync,no_ro
Hadoop 安装部署
qq_48802540的博客
03-21 4234
官网下载软件： Ubuntu : https://releases.ubuntu.com/ jdk ： https://www.oracle.com/java/technologies/downloads/ Hadoop ： https://archive.apache.org/dist/hadoop/common/hadoop-3.3.2/ 下载后上传到服务器，解压 一 1. 关闭防火墙 sudo ufw disable 查看防火墙状态，状态为“不活动”，说明防火墙已经关闭 sudo ufw stat
Hadoop-安装部署
时间海绵
09-17 1469
暑假期间和小伙伴，师兄们一起学习了一下hadoop的部署和安装，了解了大概的流程 1.Hadoop安装部署步骤： Hadoop为分布式文件系统和计算的基础框架系统，其中包含hadoop程序，hdfs系统等。在Ubuntu系统上安装hadoop需要配置JDK环境和ssh免密钥登录，在hadoop的基础之上再搭建Hbase和Hive。 所以安装次序如下： Ubuntu系统--->Jdk文件--
hadoop——hadoop基本部署
weixin_43350897的博客
08-18 434
Hadoop Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high...
Hadoop集群 Linux部署
m0_37566009的博客
12-07 2605
hadoop部署 hadoop版本3.3.0 jdk 1.8 下载Apache Hadoop 1 Download tar.gz 2 Download src 源码 3 Documentation 文档 部署条件： 1 配置jdk环境变量 2 配置免密登录 3 修改主机名 java环境变量配置 vi /etc/profile ..... done //加入以下三行 第一行为jdk解压路径 export JAVA_HOME=/mnt/jdk1.8/jdk1.
hadoop部署的映像文件iso
最新发布
07-27
抱歉，根据提供的引用内容，没有找到关于hadoop部署的映像文件iso的信息。引用内容主要涉及hadoop环境的部署和配置，但没有提到映像文件iso。如果您需要关于hadoop映像文件iso的信息，建议您查阅其他资料或者咨询相关专业人士。 #### 引用[.reference_title] - *1* *3* [大数据高级-Hadoop部署](https://blog.csdn.net/svime/article/details/130739129)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [Hadoop全发布部署，不多bb，直接上教程](https://blog.csdn.net/weixin_53200171/article/details/123488081)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值