1.下载Hadoop
Hadoop下载链接
选择版本
2.准备
三台服务器,没有的用虚拟机,使用xshell连接
-》Linux环境准备:每台机器都要做以下操作
-》每台机器的/etc/hosts中都要配置三台机器的映射
192.168.134.221 zhizuobiao.bigdata01.com
192.168.134.222 zhizuobiao.bigdata02.com
192.168.134.223 zhizuobiao.bigdata03.com
-》关闭所有机器的防火墙和selinux
-》使用普通用户登录:不要使用root用户来做
在securCRT中删除之前使用root登录的连接,新建一个普通用户的连接
-》创建对应的安装目录
sudo mkdir -p /opt/modules 软件安装的目录
sudo mkdir -p /opt/datas 放临时数据的目录
sudo mkdir -p /opt/tools 软件包的目录
sudo chown -R haitong:haitong /opt/modules
sudo chown -R haitong:haitong /opt/datas
sudo chown -R haitong:haitong /opt/tools
-》安装JDK:将自带的JDK卸载
1-下载解压
tar -zxvf /opt/tools/jdk-8u91-linux-x64.tar.gz -C /opt/modules
2-配置环境变量
sudo vim /etc/profile
添加一下内容
#JAVA_HOME
export JAVA_HOME=/opt/modules/jdk1.8.0_91
export PATH=
P
A
T
H
:
PATH:
PATH:JAVA_HOME/bin
刷新环境变量:source /etc/profile
3-测试
java -version
java version "1.8.0_91"
-》安装Hadoop
-》规划HDFS的节点分布
node1 node2 node3
NameNode
DataNode DataNode DataNode
-》在第一台机器上安装:node1
-》下载解压
tar -zxvf /opt/tools/hadoop-2.7.3.tar.gz -C /opt/modules/
bin:客户端操作命令
etc:配置文件
lib:依赖库
sbin:管理类的命令
-》修改配置
http://hadoop.apache.org/docs/r2.7.6/hadoop-project-dist/hadoop-common/SingleCluster.html
-》先修改/opt/modules/hadoop-2.7.3/etc/hadoop/core-site.xml
执行:mkdir /opt/modules/hadoop-2.7.3/datas
<!--指定整个HDFS唯一的入口,也是NameNode的地址-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://zhizuobiao.bigdata01.com:8020</value>
</property>
<!--指定Hadoop的临时本地目录-->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/modules/hadoop-2.7.3/datas</value>
</property>
-》再修改/opt/modules/hadoop-2.7.3/etc/hadoop/hdfs-site.xml
<!--配置每个文件块存储多少份,默认是3分-->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
-》再修改/opt/modules/hadoop-2.7.3/etc/hadoop/slaves文件
zhizuobiao.bigdata01.com
zhizuobiao.bigdata02.com
zhizuobiao.bigdata03.com
-》分发给其他两台机器
scp:跨机器复制
询问yes或者no,输入yes
询问输入密码:输入密码
在第一台机器上执行:
scp -r hadoop-2.7.3/ haitong@192.168.134.222:/opt/modules/
scp -r hadoop-2.7.3/ haitong@192.168.134.223:/opt/modules/
-》格式化文件系统:
在第一次安装hadoop时,需要对hdfs进行格式化
在NameNode那台机器上进行格式化:node1上执行
bin/hdfs namenode -format
-》启动服务
在第一台机器上执行:
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode
在第二和第三台机器上执行:
sbin/hadoop-daemon.sh start datanode
-》测试
NameNode网页端口:50070
bin/hdfs dfs -mkdir /testHdfs
bin/hdfs dfs -put /opt/tools/hadoop-2.7.3.tar.gz /testHdfs