Hadoop伪分布式安装

前言：提前做好以下事情

1、网络设置好，防火墙关掉
2、Java安装好，环境变量配好
3、设置主机名，参考：修改主机名
4、设置免密登录，参考：免密登录

一、下载并解压

1.将这两个安装包上传到Linux上

2.解压缩
tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz
mv hadoop-2.6.0-cdh5.14.2 hadoop：重命名

然后进入hadoop/etc/hadoop文件夹修改文件

二、修改Hadoop配置文件

官方配置连接：点这里
1.core-site.xml

<configuration>
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://192.168.56.XXX:9000</value>					//这里填自己的IP
</property>
<property>
   <name>hadoop.tmp.dir</name>
   <value>/opt/soft/hadoop/tmp</value>		               //datanode不见 就是这里有问题
</property>
<property>
   <name>hadoop.proxyuser.root.hosts</name>
   <value>*</value>
 </property>
<property>
   <name>hadoop.proxyuser.root.groups</name>
   <value>*</value>
 </property>
</configuration>

2.hdfs-site.xml

<configuration>
<property>
  <name>dfs.replication</name>
  <value>1</value>									//这个是备份的数量，伪分布式是1
</property>
<property>
  <name>dfs.namenode.secondary.http-address</name>	//这里设置SecondaryNamenode节点的主机
  <value>hadoop100:50090</value>				    //这里改成自己的用户名
</property>
</configuration>

3.mapred-site.xml

<configuration>
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>							
</configuration>

4.yarn-site.xml

<configuration>
<!-- reducer获取数据方式 -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop100</value>    						//这里填自己的主机名
</property>
<!-- 日志聚集功能使用 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 日志保留时间设置7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>
</configuration>

5、hadoop-env.sh

三、配置环境变量

1.编辑配置文件

vi /etc/profile

2.插入以下代码

export JAVA_HOME=/opt/soft/jdk1.8.0_221
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin
export HADOOP_HOME=/opt/soft/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

3.执行配置文件

source /etc/profile

四、格式化HDFS

hadoop namenode -format

五、启动Hadoop

启动所有：start-all.sh
关闭所有：stop-all.sh

开启后利用jps命令查看是否有如下5个进程（不包括Jps）

同时可以通过本机的浏览器，地址栏输入：

IP地址:50070

这里就看一更直观的查看Hadoop的分布式文件系统中的文件

IP地址:8088
Yarn的管理界面