Hadoop集群和Hive的搭建

1.伪分布式的搭建.
搭建过程中遇到的其中一个问题并将解决办法进行了记录：
启动HDFS时报错localhost: Warning: Permanently added ‘localhost‘ (ECDSA)Permission denied
搭建伪分布式主要分为了如下几个步骤：配置SSH无密码登录，安装Java环境，安装Hadoop环境，配置core-site.xml、hdfs-site.xml文件 以及名称节点初始化即可使用。
2.集群的搭建：（由于内容多，从原文进行了部分粘贴厦门大学林子雨老师教程）
第一步：配置网络（都为桥接，且mac地址不同）、修改主机名及/etc/hosts文件增加ip与主机名的映射关系，通过ping测试是否可用。
第二步：在主节点重新配置ssh无密码登录
再把公钥id_rsa.pub通过scp传到其他的从节点上去，在从节点中把公钥加入授权。。在~/.ssh下 cat id_rsa.pub >>authorized_keys
第三步：在主节点下配置路径。。在~/.bashrc加入hadoop的bin和sbin子目录
例：export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin
第四步：修改主节点下Hadoop的几个配置文件
在配置集群/分布式模式时，需要修改“/usr/local/hadoop/etc/hadoop”目录下的配置文件，这里仅设置正常启动所必须的设置项，包括workers 、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml共5个文件，更多设置项可查看官方说明。
（1）修改文件workers
需要把所有数据节点的主机名写入该文件，每行一个，默认为 localhost（即把本机作为数据节点），所以，在伪分布式配置时，就采用了这种默认的配置，使得节点既作为名称节点也作为数据节点。在进行分布式配置时，可以保留localhost，让Master节点同时充当名称节点和数据节点，或者也可以删掉localhost这行，让Master节点仅作为名称节点使用。
本教程让Master节点仅作为名称节点使用，因此将workers文件中原来的localhost删除，只添加如下一行内容：
Slave1
（2）修改文件core-site.xml
请把core-site.xml文件修改为如下内容：

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://Master:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>file:/usr/local/hadoop/tmp</value>
                <description>Abase for other temporary directories.</description>
        </property>
</configuration>

各个配置项的含义可以参考前面伪分布式模式时的介绍，这里不再赘述。

（3）修改文件hdfs-site.xml
对于Hadoop的分布式文件系统HDFS而言，一般都是采用冗余存储，冗余因子通常为3，也就是说，一份数据保存三份副本。但是，本教程只有一个Slave节点作为数据节点，即集群中只有一个数据节点，数据只能保存一份，所以 ，dfs.replication的值还是设置为 1。hdfs-site.xml具体内容如下：

<configuration>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>Master:50090</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>1