hadoop 伪分布式搭建
- 将 linux自带的open jdk 卸载 安装 oracle jdk,并配置环境变量
$ vi /etc/profile
export JAVA_HOEM=/opt/modules/jdk1.7.0_67
export PATH=$PATH:$JAVA_HOEM/bin
rm -rf doc/
修改 hadoop-env.sh mapred yarn 这三个配置文件
export JAVA_HOME=/opt/modules/jdk1.7.0_67
配置完毕之后 使用 修改完毕之后 使用 bin/hadoop 查看是否生效
1 配置 core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop1.zx.com:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value></value>
</property>
2 配置 hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
3 配置 slaves
指定从节点位置 slaves 包括datanode和nodemanager
4 格式化namenode,对于元数据进行初始化,否则无法读取元数据
bin/hdfs namenode -formart
当初始化完毕之后,会在tmp目录下面生成元数据文件,
当hadoop启动的时候,会加载元文件中的fsimage_0000000000000000000
5 启动hadoop
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode
HDFS外部管理界面端口号默认:50070
1.配置 mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
2.配置 yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
3.启动 yarn
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager
yarn外部管理界面端口号默认:8088