hadoop-hdfs安装部署

1、上传解压

上传到指定目录输入命令rz （如果没有这个命令 需要安装lrzsz插件 命令 yum -y install lrzsz）

解压到指定文件夹
tar -z/jxvf 压缩包文件 -C 解压的目录

2、配置hadoop的环境变量

vim /etc/profile.d/hadoop.sh

export HADOOP_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0
export PATH=$PATH:$HADOOP_HOME/bin
配置完成之后生效
source /etc/profile

注 ： hadoop中所有的配置文件都需要全局同步

3、检查支持哪些库或包

进入hadoop安装目录的bin里面执行以下命令
./hadoop checknative

如果出现openssl为false，那么所有机器在线安装openssl即可，执行以下命令，虚拟机联网之后就可以在线进行安装了
yum -y install openssl-devel

4、修改hadoop的核心配置文件（直接粘贴 将主机名修改成自己的）

第一个配置文件 ：vim core-site.xml

<configuration>
    <property>
	<name>fs.defaultFS</name>
	<value>hdfs://node01:8020</value>
</property>
<property>
	<name>hadoop.tmp.dir</name>
	<value>/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas</value>
</property>
<!--  缓冲区大小，实际工作中根据服务器性能动态调整 -->
<property>
	<name>io.file.buffer.size</name>
	<value>4096</value>
</property>

<!--  开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 -->
<property>
	<name>fs.trash.interval</name>
	<value>10080</value>
</property>
</configuration>

第二个配置文件： vim hdfs-site.xml

   <configuration>
<!-- NameNode存储元数据信息的路径，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割   --> 
    <!--   集群动态上下线 
    <property>
	<name>dfs.hosts</name>
	<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/accept_host</value>
    </property>

<property>
	<name>dfs.hosts.exclude</name>
	<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/deny_host</value>
</property>
 -->
 
 <property>
		<name>dfs.namenode.secondary.http-address</name>
		<value>node01:50090</value>
</property>

<property>
	<name>dfs.namenode.http-address</name>
	<value>node01:50070</value>
</property>
<property>
	<name>dfs.namenode.name.dir</name>
	<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas</value>
</property>
<!--  定义dataNode数据存储的节点位置，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割  -->
<property>
	<name>dfs.datanode.data.dir</name>
	<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas</value>
</property>

<property>
	<name>dfs.namenode.edits.dir</name>
	<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits</value>
</property>
<property>
	<name>dfs.namenode.checkpoint.dir</name>
	<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name</value>
</property>
<property>
	<name>dfs.namenode.checkpoint.edits.dir</name>
	<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits</value>
</property>
<property>
	<name>dfs.replication</name>
	<value>2</value>
</property>
<property>
	<name>dfs.permissions</name>
	<value>false</value>
</property>
             <property>
	<name>dfs.blocksize</name>
	<value>134217728</value>
</property>
</configuration>

第三个配置文件 ：vim Hadoop-env.sh

       export JAVA_HOME=/export/servers/jdk1.8.0_141  等同于 export JAVA_HOME=${JAVA_HOME}
       可以不修改

第四个配置文件 ：vim mapred-site.xml

       <configuration>
 <property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>

<property>
	<name>mapreduce.job.ubertask.enable</name>
	<value>true</value>
</property>

<property>
	<name>mapreduce.jobhistory.address</name>
	<value>node01:10020</value>
</property>

<property>
	<name>mapreduce.jobhistory.webapp.address</name>
	<value>node01:19888</value>
</property>
</configuration>

第五个配置文件 ：vim yarn-site.xml

 <configuration>
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>node01</value>
</property>
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>
</configuration>

5、设置集群有哪些工作节点

编辑slave文件 vim slave
node01
node02
node03

6丶创建文件存放目录

mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits

7、其他节点分发

scp -r hadoop-2.6.0-cdh5.14.0 node02:$PWD
scp -r hadoop-2.6.0-cdh5.14.0 node03:$PWD

8、配置其他节点的hadoop的环境变量

  scp /etc/profile.d/hadoop.sh node02:/etc/profile.d/
  scp /etc/profile.d/hadoop.sh node03:/etc/profile.d/

9 、格式化集群

   在集群安装目录的bin内部
  执行一下命令进行格式化 hdfs namenode -format

10、集群启动

     在集群安装目录的sbin内部执行一下命令进行启动
      ./start-all.sh