Hadoop安装以及环境配置

1.创建一个纯净的虚拟机，安装好jdk和mysql

2.解压hadoop.tar.gz（在根目录下创建一个software文件夹，把安装包都放在里面）

[root@localhost /]# mkdir software
[root@hadoop software]#tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz -C/opt
#改名
[root@localhost opt]# mv hadoop-2.6.0-cdh5.14.2 hadoop

3.安装hadoop并配置环境

(1)设置主机名：

hostnamectl set-hostname hadoop002
vi /etc/hosts  
     192.168.36.33 hadoop002

（2）添加互信

注：ssh是secure shell的缩写，是创建在应用层和传输层基础上的安全协议，通过使用ssh，可以把所传输的数据进行加密，rsa为秘钥类型

[root@localhost opt]# ssh-keygen -t rsa  
在root/.ssh/目录下生成一对秘钥id_rsa和id_rsa.pub；rsa为默认秘钥类型，也可生成一对dsa私钥文件
[root@localhost opt]# cat ~/.ssh/id_rsa.pub  > ~/.ssh/authorized_keys
将公钥考到对方机器的用户目录下
[root@localhost opt]#ssh hadoop001

（3)配置全局环境变量

：将hadoop四个模块hadoop common，hadoop distributed file system（HDFS）,hadoop yarn,hadoop mapreduce的环境变量都添加上,以及native-hadoop的环境变量

vi /etc/profile
在path上加一下配置
  export HADOOP_HOME=/opt/hadoop
  export HADOOP_MAPRED_HOME=$HADOOP_HOME
  export HADOOP_COMMON_HOME=$HADOOP_HOME
  export HADOOP_HDFS_HOME=$HADOOP_HOME
  export YARN_HOME=$HADOOP_HOME
  export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
  export HADOOP_INSTALL=$HADOOP_HOME
并在path后面加上$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:
在最后一个$PATH之前加
使其环境变量生效：
 [root@localhost opt]# source /etc/profile
检验是否安装成功
hadoop version

(4)配置hadoop 在**/etc/hadoop**目录下的文件

1） hadoop-env.sh

配置一下java的地址
#export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/opt/java8

2）core-site.xml

<configuration>
<!-- 配置NameNode的主机名和端口号-->
  <property>
     <name>fs.defaultFS</name>
     <value>hdfs://192.168.36.33:9000</value>
  </property>
<!-- 指定使用hadoop产生文件的存放目录-->
  <property><