hadoop伪分布式部署
版本: hadoop3.x。
hadoop有三种运行方式: 单机模式、伪分布式模式、完全分布式模式。由于只有一台服务器,所以采用了伪分布式的部署方式。
1. hdfs的部署
- 从官网下载hadoop压缩包,上传到服务器并解压。
- 服务器配置免密登录。使用
ssh localhost
测试是否配置成功。 - 修改hadoop-env.sh。
vim etc/hadoop/hadoop-env.sh
# 添加以下配置
------------------------------
# java安装目录
export JAVA_HOME=/export/servers/jdk
# hdfs namenode的启动/停止用户
export HDFS_NAMENODE_USER=root
# hdfs datanode的启动/停止用户
export HDFS_DATANODE_USER=root
# hdfs secondarynamenode的启动/停止用户
export HDFS_SECONDARYNAMENODE_USER=root
- 修改core-site.xml。
vim etc/hadoop/core-site.xml
------------------------------
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
- 修改hdfs-site.xml。
vim etc/hadoop/hdfs-site.xml
------------------------------
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
<description>hdfs副本默认数量</description>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/export/data/hadoop3/dfs/nn</value>
<description>hdfs namenode元数据保存位置,可以配置多个,中间用逗号分隔</description>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/export/data/hadoop3/dfs/dn</value>
<description>hdfs datanode数据保存位置,可以配置多个,中间用逗号分隔</description>
</property>
</configuration>
- 初始化namenode。
bin/hdfs namenode -format
- 启动hdfs。
sbin/start-dfs.sh
在浏览器输入 ip:9870 (hadoop3.x默认端口,hadoop2.x默认端口为50070),出现如下界面,启动成功。
2. yarn的部署
- 修改mapred-site.xml。
vim etc/hadoop/mapred-site.xml
------------------------------
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.application.classpath</name>
<value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
</property>
</configuration>
- 修改yarn-site.xml。
vim etc/hadoop/yarn-site.xml
------------------------------
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
</configuration>
- 执行
sbin/start-yarn.sh
启动yarn集群。
在浏览器输入 ip:8088,看到如下界面,启动成功。