个人笔记之Hadoop集群搭建

个人笔记之简化版Hadoop集群搭建

1.准备工作

首先确保节点之间相互免秘钥（我直接恢复到免秘钥的快照）

然后下载喜欢的版本的安装包，一般版本选择双数版本的，因为双数吉利嘛，所以单数版本有时候只是软件公司自己测试没问题就放出来的版本，而双数版本是经过企业实际检验过后才发布的版本，有人趟过雷了所以可以稍微放心一点用。

因为电脑不行，试过了开四台虚拟机有点危险，所以这次就搭个简化不规范版的集群，namenode和SecondaryNameNode就放在datanode上，只用三个虚拟机打起来一个简单的Hadoop集群。

2.解压安装

没啥好说的，先把压缩包解压出来，然后移动到自己的目录下面，最后最好进去看看有无问题。

tar -zxvf hadoop-3.1.2.tar.gz
mkdir /opt/cl
mv hadoop-3.1.2 /opt/cl

3.修改配置文件

3.1 先去Hadoop配置目录下

cd /opt/cl/hadoop-3.1.2/etc/hadoop/

3.2 修改集群环境

[root@node01 hadoop]# vim hadoop-env.sh

##直接在文件的最后添加
export JAVA_HOME=/usr/java/jdk1.8.0_231-amd64
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root

3.3 修改配置文件

3.3.1 [root@node01 hadoop]# vim core-site.xml

（在configuration标签内添加）

<property>
<name>fs.defaultFS</name>
<value>hdfs://node01:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/var/cl/hadoop/full</value>
</property>

3.3.2 [root@node01 hadoop]# vim hdfs-site.xml

（在configuration标签内添加）

<property>
<name>dfs.namenode.secondary.http-address</name>
<value>node02:50090</value>
</property>
<property>
<name>dfs.namenode.secondary.https-address</name>
<value>node02:50091</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>

3.3.3[root@node01 hadoop]# vim workers

node01
node02
node03

3.4 拷贝分发软件

(因为我恢复快照的时候没有cl文件夹所以必须往后给一个文件夹名，我之前没有cl文件夹，所以在每个节点都要手动建一个，不然会出错)

cd /opt/cl/
scp -r hadoop-3.1.2 root@node02:`pwd`
scp -r hadoop-3.1.2 root@node03:`pwd`

3.5 修改环境变量

• [root@node01 hadoop]# vim /etc/profile

export HADOOP_HOME=/opt/cl/hadoop-3.1.2
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

• 将环境变量拷贝到其他主机

scp /etc/profile root@node02:/etc/profile
scp /etc/profile root@node03:/etc/profile

• 重新加载三台服务器的环境变量(三台都要)

source /etc/proile

3.6 格式化NameNode

注意：！！！

这个在一个集群中只在搭建集群时在namenode上执行一次。

hdfs namenode -format

4.启动集群

start-dfs.sh

5.测试一下

浏览器：

（192.168.251.101是我node01的IP）

http://192.168.251.101:9870

若出现以下画面则说明hadoop搭建成功

点击第三项DataNodes，如果这样就说明hadoop集群搭建成功了。

6.拍摄快照

关闭集群，关机

stop-dfs.sh
shutdown -h now

赶快去趁热拍个快照。

7.上传个文件玩一玩

先用指令创建一个文件夹：

hdfs dfs -mkdir -p /cl

然后找个东西传上去：

hdfs dfs -put 文件 集群上的目标路径地址

然后去网页导航最后一个选项第一栏看看：

权限，所属用户，群组，大小，最后修改时间，备份数，每块的大小，文件名

完结撒花。