前言
ubuntu版本:14.04
java版本:1.8.0_121
Hadoop版本: 2.7.3
Hadoop三种安装方式:
独立模式
伪分布模式
全分布模式
JAVA JDK
去oracle官网下载java jdk 如果系统安装过java jdk 那么可以跳过这步。点此下载
将安装包解压到你想要安装的目录
打开profile配置java环境
sudo gedit /etc/profile
在profile最后添加
export JAVA_HOME=/jdk地址/jdk1.8.0_121
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
测试java环境
java -version
出现下面类似则为配置正确
安装HADOOP
在hadoop官网上下载hadoop安装包,这里选择的Hadoop2.7.3点击下载
将安装包解压在你想要安装的目录
打开配置文件sudo gedit /etc/profile
在其后添加
export HADOOP_INSTALL=/hadoop地址/hadoop-2.7.3
export PATH=$PATH:$HADOOP_INSTALL/bin:$HADOOP_INSTALL/sbin
测试hadoop安装是否正确
可见hadoop安装正确
HADOOP伪分布方式
hadoop守护进程运行在本地机器上,来模拟一个本地小型集群。
分为DFS配置和YARN配置
DFS配置
编辑etc/hadoop/core-site.xml,configuration配置为
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
编辑etc/hadoop/hdfs-site.xml,configuration配置为
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
初始化
格式化HDFSbin/hdfs namenode -format
测试
启动NameNode和DataNode
sbin/start-dfs.sh
在浏览器中访问http://localhost:50070/,可以看到NameNode相关信息
YARN配置
YARN可以认为是Hadoop的资源管理器,比如管理Job。
编辑etc/hadoop/mapred-site.xml,configuration配置为
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
编辑etc/hadoop/yarn-site.xml,configuration配置为
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
测试YARN
启动ResourceManager和NodeManager
sbin/start-yarn.sh
输入 jps
会看到
这时在浏览器中访问http://localhost:8088/,可以看到ResourceManager相关信息。
至此Hadoop和YARN配置完成
启动和停止Hadoop
启动
$ sbin/start-dfs.sh
$ sbin/start-yarn.sh
停止
$ sbin/stop-dfs.sh
$ sbin/stop-yarn.sh
小结
伪分布模式就配置完成了,大家如果有任何问题可以留言,大家一起讨论。博主也是小白一只,有什么错误的地方也请各位大牛指正。
如有疑问也可以关注博主公众号,一起讨论哦!