1、安装JDK
版本为JDK1.8。
先查看系统是否有自带的JDK(若有,卸载系统自带的JDK):rpm -qa | grep jdk或rpm -qa | grep gcj
使用rpm -e --nodeps 命令删除上面查找的内容:如:#rpm -e –nodeps jdk-1.6.0_22-fcs
安装命令:rpm -ivh jdk压缩包名。
把解压过后的文件夹放在自己知道的路径下,然后修改/etc/profile文件,在该文件的末尾加上:export JAVA_HOME=jdk路径
如:
然后执行:source /etc/profile命令,使修改后的/etc/profile文件生效。
使用java -version 命令,查看java版本,若出现下图则安装成功:
2、安装Hadoop
解压hadoop压缩文件,命令:tar -zxvf hadoop压缩文件名(tar -zxvf hadoop-3.1.1.tar.gz)。把解压后的文件移动到自己知道的路径下。进入该路径下,用命令查看Hadoop版本,出现下面信息后则Hadoop安装成功。
3、Hadoop伪分布式搭建
修改主机名:vi /etc/hosts(把图上原有的第一个localhost.localdomain修改为主机名).
修改 vi /etc/sysconfig/network的HOSTNAME
重启Redhat后主机名就会改变。
创建hadoop需要的目录,在如图的路径下创建:mkdir -p hdfs/{data,name,tmp}
进入配置文件所在的路径,修改配置文件
修改配置文件
vi hadoop-env.sh 在该文件的末尾加入:(自己的JDK和HADOOP路径)
vi core-site.xml 在文件的<configuration中加入以下内容:(HXW为自己的主机名,请自行修改,后面的文件同理)
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://HXW:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/hdfs/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
</configuration>
vi mapred-site.xml 在文件的<configuration中加入以下内容:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>HXW:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>HXW:19888</value>
</property>
</configuration>
vi hdfs-site.xml 在文件的<configuration中加入以下内容:
<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>HXW:9001</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/hdfs/data</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/hdfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
</configuration>
vi yarn-site.xml 在文件的<configuration中加入以下内容:
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>HXW:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>HXW:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>HXW:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>HXW:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>HXW:8088</value>
</property>
</configuration>
进入以下路径
修改start-dfs.sh和stop-dfs.sh 在这两个文件的开头都加上
#!/usr/bin/env bash
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
修改start-yarn.sh和stop-yarn.sh 也是在这两个文件的开头都加上
#!/usr/bin/env bash
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
修改文件:vi /usr/local/hadoop/etc/hadoop/log4j.properties 在文件末尾加上
log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR
如图:
又修改 vi /etc/profile文件,在文件末尾加入:
export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin
如图:
修改完毕后执行:source /etc/profile命令,使修改后的/etc/profile文件生效。
启动hadoop
格式化namenode节点(命令:hdfs namenode -format)
启动——检查系统是否能够在没有密码的情况下ssh登录:ssh localhost 如果要输密码,则为系统设置免密登录:
执行命令:ssh-keygen -t rsa (执行这个命令后出现的都直接回车)
再执行:cp /root/.ssh/id_rsa.pub /root/.ssh/authorized_keys
系统能够免密登录后,进入:cd /usr/loacl/hadoop/sbin (此为我的路径,请自行修改!!!)
然后启动命令:start-all.sh
输入命令:jps 若出现下图的效果,则安装成功。