一、基础环境
1、环境版本
环境:centos7
hadoop版本:2.7.2
jdk版本:1.8
2、Hadoop目录结构
bin目录:存放对Hadoop的HDFS,YARN服务进行操作的脚本
etc目录:Hadoop的相关配置文件目录
lib目录:存放Hadoop的本地库,提供数据压缩解压缩能力
sbin目录:存放启动或停止Hadoop相关服务的脚本
share目录:存放Hadoop的依赖jar包、文档、和相关案例
3、配置加载
vim /etc/profile
# 添加环境
export JAVA_HOME=/opt/jdk1.8
export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/opt/hadoop2.7
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
# 退出刷新配置
source /etc/profile
二、伪集群配置
以下配置文件所在路径:/opt/hadoop2.7/etc/hadoop,这里是Linux环境,脚本配置sh格式。
1、配置hadoop-env
root# vim hadoop-env.sh
# 修改前
export JAVA_HOME=
# 修改后
export JAVA_HOME=/opt/jdk1.8
2、配置core-site
文件结构概览
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
configuration>
NameNode的地址
<property>
<name>fs.default