大数据平台开发作业

大数据平台开发作业

大数据平台开发
前期准备
准备好四台安装了centos系统的虚拟机，并在其中一台完成伪分布式的安装

HA安装方案

分发jdk到node02,ndoe03,node04上

-scp jdk-7u67-linux-x64.rpm node02:`pwd`
-scp jdk-7u67-linux-x64.rpm node03:`pwd`
-scp jdk-7u67-linux-x64.rpm node04:`pwd`

并在Xshell的全部会话栏里一起ll，看jdk是否发送成功。
给node02,node03,node04分别安装jdk
分别在node02,node03,node04上执行rpm安装命令。

-rpm -i jdk-7u67-linux-x64.rpm

在node01上cd /etc，在此目录下把profile文件分发到node02、03、04上。

scp profile node04:`pwd`

利用Xshell全部会话栏，source /etc/profile

利用Xshell全部会话栏，jps，看02、03、04这三台机子的jdk是否装好。

若时间不同步，怎么办？
1.yum进行时间同步器的安装

-yum -y install ntp

2.执行同步命令

-ntpdate time1.aliyun.com

1. 装机之前的配置文件检查

1.cat /etc/sysconfig/network

​ 查看HOSTNAME是否正确

2.cat /etc/hosts

​ 查看IP映射是否正确,若不正确，可以改文件，也可以把node01上的用scp分发过去.。

3.cat /etc/sysconfig/selinux

​ 检查SELINUX的值是否是disabled

4.service iptables status

​ 查看防火墙是否关闭

**

1. NN与其他三台机子的免秘钥设置

**

1.在家目录下 ll –a看下有无.ssh文件，如果没有就ssh loalhost一下，完成后记得exit退出。

2.cd /.ssh，并ll查看一下

3.把node01的公钥发给其他三台机子

-scp id_dsa.pub node02:`pwd`/node01.pub
-scp id_dsa.pub node03:`pwd`/node01.pub
-scp id_dsa.pub node04:`pwd`/node01.pub

4.将node02的.ssh目录下的node01.pub追加到authorized_keys

-cat node01.pub >> authorized_keys

5.其他两台机子同上，并检查在node01上能否ssh连接到其他三台机子

**

. 两个NN间互相免密钥

**
在node02上：

-ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
-cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

ssh localhost验证一下

分发到node01上：

-scp id_dsa.pub  node01:`pwd`/node02.pub

在node01的.ssh目录下，

-cat node02.pub >> authorized_key

在node02上ssh node01验证一下可否免密钥登录

**

修改namenode的一些配置信息

**
vi hdfs-site.xml

<configuration>
   <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>

	<property>
  		<name>dfs.nameservices</name>
  		<value>mycluster</value>
	</property>
	<property>
  		<name>dfs.ha.namenodes.mycluster</name>
  		<value>nn1,nn2<