Hadoop伪分布式搭建

首先将jdk-8u221-linux-x64.rpm和hadoop-2.6.5.tar.gz上传到NameNode(四台虚拟机中的第一台)上

tar -zxvf hadoop-2.6.5.tar.gz  -C /opt/

rpm  rpm -ivh jdk-8u221-linux-x64.rpm

 

进入/etc/profile文件

在最后一行插入：

export JAVA_HOME=/usr/java/jdk1.8.0_221-amd64
export PATH=$PATH:$JAVA_HOME/bin 

退出文件，运行.  /etc/profile是资源文件生效

 

输入命令进行免密：

以dsa算法生成私钥~/.ssh/id_dsa，不设置老的密码，公钥默认生成为~/.ssh/id_dsa.pub

ssh-keygen  -t  dsa  -P  ''  -f  ~/.ssh/id_dsa

cat  ~/.ssh/id_dsa.pub  >>  ~/.ssh/authorized_keys

 

打开/etc/profile文件，在最后加入：

export HADOOP_HOME=/opt/hadoop-2.6.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

打开文件

/opt/hadoop-2.6.5/etc/hadoop/hadoop-env.sh

找到JAVA_HOME，将JAVA_HOME路径改成如下：

export JAVA_HOME=/usr/java/jdk1.8.0_221-amd64

 

打开文件/opt/hadoop-2.6.5/etc/hadoop/core-site.xml，在configuration标签内加入：

  <!-- 指定访问HDFS的时候路径的默认前缀  /  hdfs://node1:9000/ -->

  <property>

<name>fs.defaultFS</name>

<value>hdfs://node1:9000</value>

  </property>

  <!-- 指定hadoop的临时目录位置，它会给namenode、secondarynamenode以及datanode的存储目录指定前缀 -->

  <property>

<name>hadoop.tmp.dir</name>

<value>/var/bjsxt/hadoop/pseudo</value>

  </property>

 

打开文件/opt/hadoop-2.6.5/etc/hadoop/hdfs-site.xml

在<configuration>标签内加入

  <!-- 指定block副本数 -->

  <property>

<name>dfs.replication</name>

<value>1</value>

  </property>

  <!-- 指定secondarynamenode所在的位置 -->

  <property>

<name>dfs.namenode.secondary.http-address</name>

<value>node1:50090</value>

  </property>

 

打开文件/opt/hadoop-2.6.5/etc/hadoop/slaves

将内容改成node1

最后输入命令进行格式化：

 hdfs namenode -format

输入命令启动hdfs：

start-dfs.sh

 

启动了hdfs之后，可以在 cd /var/bjsxt/hadoop/pseudo/dfs/目录下找到hadoop 的目录