前言:提前做好以下事情
1、网络设置好,防火墙关掉
2、Java安装好,环境变量配好
3、设置主机名,参考:修改主机名
4、设置免密登录,参考:免密登录
一、下载并解压
1.将这两个安装包上传到Linux上
2.解压缩
tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz
mv hadoop-2.6.0-cdh5.14.2 hadoop:重命名
然后进入hadoop/etc/hadoop文件夹修改文件
二、修改Hadoop配置文件
官方配置连接:点这里
1.core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.56.XXX:9000</value> //这里填自己的IP
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/soft/hadoop/tmp</value> //datanode不见 就是这里有问题
</property>
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>
</configuration>
2.hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value> //这个是备份的数量,伪分布式是1
</property>
<property>
<name>dfs.namenode.secondary.http-address</name> //这里设置SecondaryNamenode节点的主机
<value>hadoop100:50090</value> //这里改成自己的用户名
</property>
</configuration>
3.mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
4.yarn-site.xml
<configuration>
<!-- reducer获取数据方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop100</value> //这里填自己的主机名
</property>
<!-- 日志聚集功能使用 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 日志保留时间设置7天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
</configuration>
5、hadoop-env.sh
三、配置环境变量
1.编辑配置文件
vi /etc/profile
2.插入以下代码
export JAVA_HOME=/opt/soft/jdk1.8.0_221
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin
export HADOOP_HOME=/opt/soft/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
3.执行配置文件
source /etc/profile
四、格式化HDFS
hadoop namenode -format
五、启动Hadoop
启动所有:start-all.sh
关闭所有:stop-all.sh
开启后利用jps命令查看是否有如下5个进程(不包括Jps)
同时可以通过本机的浏览器,地址栏输入:
IP地址:50070
这里就看一更直观的查看Hadoop的分布式文件系统中的文件
IP地址:8088
Yarn的管理界面