hadoop 伪分布式搭建实例

1 安装前准备

1.1 下载安装包

官网下载地址：https://hadoop.apache.org/releases.html。
本实例下载2.6.5

1.2 jdk安装

本实例通过rpm方式安装jdk1.8，需要准备jdk1.8rpm安装包
安装前先检查是否已安装jdk

 rpm -qa|grep java

上图结果表示没有安装过

 rpm -ivh jdk-8u221-linux-x64.rpm 

然后配置环境变量

查看java 最终的安装路径

ls -l /usr/java/

可以看到 java 安装路径是为 /user/java/default 通过软连接 最终指向了/usr/java/jdk1.8.0_221-amd64，
所以JAVA_HOME配置 /user/java/default 或者 /usr/java/jdk1.8.0_221-amd64都可以。

vim /etc/profile

在配置文件最后添加

export JAVA_HOME=/usr/java/jdk1.8.0_221-amd64
export PATH=$PATH:$JAVA_HOME/bin

让配置文件生效

source /etc/profile

检查安装是否成功

jps
java -version

1.3 免密登录设置

如果不设置的话，后面启动hadoop时需要多次输入密码 启动namenode、datanode、SecondaryNameNode都需要输入密码
进入home目录
删除.ssh 目录

rm -rf .ssh/

ssh-keygen  -t  dsa  -P  ''  -f  ~/.ssh/id_dsa
cat  ~/.ssh/id_dsa.pub  >>  ~/.ssh/authorized_keys

2. 安装hadoop

2.1 上传安装包

2.2 解压

tar -zxvf hadoop-2.6.5.tar.gz -C /opt/app/

验证解压是否无问题
hdfs 然后再输入table 键会出现如下结果

或者 输入 hadoop 在table出现如下结果

3、配置

3.1环境变量配置

vim /etc/profile

添加hadoop 解压路径

export HADOOP_HOME=/opt/app/hadoop-2.6.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使配置文件生效

source /etc/profile

3.1 hadoop-env.sh 配置JAVA_HOME

vim /opt/app/hadoop-2.6.5/etc/hadoop/hadoop-env.sh

3.2core-site.xml配置

vim /opt/app/hadoop-2.6.5/etc/hadoop/core-site.xml

configuration节点配置如下，node5 指安装hadoop机器的主机名称

<configuration>
  <!-- 指定访问HDFS的时候路径的默认前缀  /  hdfs://node1:9000/ -->
  <property>
<name>fs.defaultFS</name>
<value>hdfs://node5:9000</value>
  </property>
  <!-- 指定hadoop的临时目录位置，它会给namenode、secondarynamenode以及datanode的存储目录指定前缀 -->
  <property>
<name>hadoop.tmp.dir</name>
<value>/var/wh/hadoop/pseudo</value>
  </property>
</configuration>

3.3 slaves文件配置

这里node5也是本机主机名

vim /opt/app/hadoop-2.6.5/etc/hadoop/slaves
node5 

3.4 格式化

hdfs  namenode  -format

3.5 本地host文件配置

C:\Windows\System32\drivers\etc\hosts
文件中添加下面hadoop安装主机的名映射

3.6 启动

start-dfs.sh

3.7 访问验证

浏览输入http://node5:50070/

表示安装成功