linux下安装、配置hadoop、在yarn上运行jar包

本文详细介绍了如何在Linux系统中安装、配置Hadoop,包括启动HDFS和YARN服务,配置MapReduce历史服务器MRHistoryServer以及启用YARN日志聚集功能,并通过WordCount案例演示MapReduce程序在YARN上的运行过程。
摘要由CSDN通过智能技术生成

linux下安装、配置hadoop、在yarn上运行jar包,配置MapReduce历史服务器MRHistoryServer、 配置YARN日志聚集功能

  • 上传解压
  • 配置HAPDOOP

1、上传解压
赋予hadoop-2.7.3.tar.gz执行权限

$ chmod u+x hadoop-2.7.3.tar.gz

解压到指定目录

$ tar -zxf hadoop-2.7.3.tar.gz -C /opt/modules/

 解压到指定目录
注意:
HADOOP Distributed包目录结构按照LINUX系统目录结构规范
2、 配置HADOOP
-a. 配置 *-env.sh 环境变量文件

    hadoop-env.sh  yarn-env.sh  mapred-env.sh 

修改值:

    export JAVA_HOME=/opt/modules/jdk1.8.0_91

赋以执行权限:

    $ chmod u+x hadoop-env.sh yarn-env.sh mapred-env.sh

-b. 依据HADOOP三个模块来进行配置
- HDFS
存储数据
- YARN
管理资源
- MapReduce
分析数据
-c. 配置HDFS环境
- core-site.xml
-


fs.defaultFS
hdfs://bigdata-hpsk01.huadian.com:8020

<!-- 指定HDFS文件系统的本地临时存储目录,默认值为当前系统/tmp -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/modules/hadoop-2.7.3/data/tmpData</value>
</property>

创建对应文件夹:

    $ cd /opt/modules/hadoop-2.7.3 
    $ mkdir -p data/tmpData

hdfs-site.xml

<!-- 由于伪分布式安装部署, 仅有一台机器,所有block副本数没有必要设置为3,设置为1即可 -->
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

- 配置slaves文件:指定DataNode运行在哪些机器上

       bigdata-hpsk01.huadian.com

说明:
此文件中一行表示一个主机名称,会在此主机上运行DataNode

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值