一、安装三台Centos
实现三台机器网络互通
并使用root用户登录
master 192.168.1.2
slave1 192.168.1.3
slave2 192.168.1.4
二、分别创建用户和组
groupadd hadoop
useradd hadoop -g hadoop
passwd hadoop
id hadoop
三、规划安装路径
a.安装路径
/hadoop 根路径下放置子路径,比如hbase的安装路径是 /hadoop/hbase
b.临时目录
/hadoop/tmp 存放临时文件
c.所用软件目录
/software 放置常用的安装软件
四、分别关闭防火墙和SELinux
1,关闭防火墙
查看centos 查看版本
cat /etc/redhat-release
centos 7:
systemctl stop firewalld.service #停止
systemctl disable firewalld.service #禁用
之前的版本:
service iptables stop #停止
chkconfig iptables off #禁用
2,关闭SELinux
SElinux是Linux安全加强工具
修改配置文件
vi /etc/sysconfig/selinux
修改: SELINUX=disabled
五、修改主机名、主机名与IP映射
1.分别 vi /etc/hostname 改主机名
2.在vi /etc/hosts主分别同时加上下面三句
192.168.1.2 master
192.168.1.3 slave1
192.168.1.4 slave2
六、配置无密SSH登录
a. 如果没安装SSH,需提前安装
ssh -V 查看安装的版本
ssh 127.0.0.1
netstat -a | more看有没正常启动
如果出现:
tcp 0 0 *:ssh *:* LISTEN
b.生成密钥信息
在hadoop用户下的主目录
su hadoop
cd ~
ls -la
ssh-keygen -t rsa -N ""
ls -la
cd .ssh/
ls -la
发现两个文件 id_rsa id_rsa.pub
cat id_rsa.pub >> authorized_keys
c.添加至其他结点
在其他结点,分别
su - hadoop
mkdir .ssh
cd .ssh/
vi authorized_keys
直接COPY密钥信息
用scp
d.测试主结点是否可以登录到从结点
ssh slave1
ssh slave2
七、安装Hadoop
a.在主结点上安装Hadoop
1.在主结点上解压文件
tar -zxf hadoop-2.6.0.tar.gz -C ../hadoop/
2.修改hadoop-2.6.0/etc/hadoop/hadoop-env.sh 获取JDK支持
export JAVA_HOME=/hadoop/jdk1.7.0_79
3.修改hadoop-2.6.0/etc/hadoop/core-site.xml 全局的配置文件
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop/tmp</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.1.2:9000</value>
</property>
</configuration>
4.修改hadoop-2.6.0/etc/hadoop/hdfs-site.xml
<property>
<name>dfs.name.dir</name>
<value>/hadoop/hadoop-2.6.0/namenodedata</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/hadoop/hadoop-2.6.0/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
5.修改hadoop-2.6.0/etc/hadoop/mapred-site.xml mapreduce
6.修改hadoop-2.6.0/etc/hadoop/slaves 指定从节点
slave1
slave2
b.需要分发到其他两个节点,同步文件内容
rsync -avz /hadoop/hadoop-2.6.0 slave1:/hadoop/
rsync -avz /hadoop/hadoop-2.6.0 slave2:/hadoop/
c.格式化HDFS
bin/hdfs namenode -format
d.启动hdfs
sbin/start-dfs.sh
e.测试
jps
或
http://master:50070/
f.停止hdfs
实现三台机器网络互通
并使用root用户登录
master 192.168.1.2
slave1 192.168.1.3
slave2 192.168.1.4
二、分别创建用户和组
groupadd hadoop
useradd hadoop -g hadoop
passwd hadoop
id hadoop
三、规划安装路径
a.安装路径
/hadoop 根路径下放置子路径,比如hbase的安装路径是 /hadoop/hbase
b.临时目录
/hadoop/tmp 存放临时文件
c.所用软件目录
/software 放置常用的安装软件
四、分别关闭防火墙和SELinux
1,关闭防火墙
查看centos 查看版本
cat /etc/redhat-release
centos 7:
systemctl stop firewalld.service #停止
systemctl disable firewalld.service #禁用
之前的版本:
service iptables stop #停止
chkconfig iptables off #禁用
2,关闭SELinux
SElinux是Linux安全加强工具
修改配置文件
vi /etc/sysconfig/selinux
修改: SELINUX=disabled
五、修改主机名、主机名与IP映射
1.分别 vi /etc/hostname 改主机名
2.在vi /etc/hosts主分别同时加上下面三句
192.168.1.2 master
192.168.1.3 slave1
192.168.1.4 slave2
六、配置无密SSH登录
a. 如果没安装SSH,需提前安装
ssh -V 查看安装的版本
ssh 127.0.0.1
netstat -a | more看有没正常启动
如果出现:
tcp 0 0 *:ssh *:* LISTEN
b.生成密钥信息
在hadoop用户下的主目录
su hadoop
cd ~
ls -la
ssh-keygen -t rsa -N ""
ls -la
cd .ssh/
ls -la
发现两个文件 id_rsa id_rsa.pub
cat id_rsa.pub >> authorized_keys
c.添加至其他结点
在其他结点,分别
su - hadoop
mkdir .ssh
cd .ssh/
vi authorized_keys
直接COPY密钥信息
用scp
d.测试主结点是否可以登录到从结点
ssh slave1
ssh slave2
七、安装Hadoop
a.在主结点上安装Hadoop
1.在主结点上解压文件
tar -zxf hadoop-2.6.0.tar.gz -C ../hadoop/
2.修改hadoop-2.6.0/etc/hadoop/hadoop-env.sh 获取JDK支持
export JAVA_HOME=/hadoop/jdk1.7.0_79
3.修改hadoop-2.6.0/etc/hadoop/core-site.xml 全局的配置文件
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop/tmp</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.1.2:9000</value>
</property>
</configuration>
4.修改hadoop-2.6.0/etc/hadoop/hdfs-site.xml
<property>
<name>dfs.name.dir</name>
<value>/hadoop/hadoop-2.6.0/namenodedata</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/hadoop/hadoop-2.6.0/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
5.修改hadoop-2.6.0/etc/hadoop/mapred-site.xml mapreduce
6.修改hadoop-2.6.0/etc/hadoop/slaves 指定从节点
slave1
slave2
b.需要分发到其他两个节点,同步文件内容
rsync -avz /hadoop/hadoop-2.6.0 slave1:/hadoop/
rsync -avz /hadoop/hadoop-2.6.0 slave2:/hadoop/
c.格式化HDFS
bin/hdfs namenode -format
d.启动hdfs
sbin/start-dfs.sh
e.测试
jps
或
http://master:50070/
f.停止hdfs
sbin/stop-dfs.sh
JPS查看的效果
Web浏览器查看的效果: