mac系统在vm虚拟中用centos6 搭建Hadoop集群

上一篇我们讲了关于配置虚拟机配置静态ip等方法下面我们开始正式配置虚拟机
**1.**首先就是下载Hadoop和jdk的安装包然后拖入虚拟机中这里mac就比windows简单多了只要下载vmtools然后点开共享文件夹就可以了然后我们正式开始搭建Hadoop了
2.（1）在/opt目录下创建module、software文件夹

[atguigu@hadoop101 opt]$ sudo mkdir module
[atguigu@hadoop101 opt]$ sudo mkdir software
（2）修改module、software文件夹的所有者cd 
[atguigu@hadoop101 opt]$ sudo chown atguigu:atguigu module/ software/
[atguigu@hadoop101 opt]$ ll

总用量 8

drwxr-xr-x. 2 atguigu atguigu 4096 1月  17 14:37 module
drwxr-xr-x. 2 atguigu atguigu 4096 1月  17 14:38 software

在Linux系统下的opt目录中查看软件包是否导入成功

[atguigu@hadoop101 opt]$ cd software/
[atguigu@hadoop101 software]$ ls
hadoop-2.7.2.tar.gz  jdk-8u144-linux-x64.tar.gz

解压JDK到/opt/module目录下

[atguigu@hadoop101 software]$ tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/

配置JDK环境变量
（1）先获取JDK路径
[atguigu@hadoop101 jdk1.8.0_144]$ pwd
    /opt/module/jdk1.8.0_11
（2）打开/etc/profile文件

[atguigu@hadoop101 software]$ sudo vi /etc/profile

在profile文件末尾添加JDK路径

 #JAVA_HOME
    export JAVA_HOME=/opt/module/jdk1.8.0_11
    export PATH=$PATH:$JAVA_HOME/bin
（3）保存后退出
:wq
（4）让修改后的文件生效

[atguigu@hadoop101 jdk1.8.0_11]$ source /etc/profile
测试JDK是否安装成功

[atguigu@hadoop101 jdk1.8.0_11]# java -version
java version "1.8.0_11"

**3.**然后相同方法安装Hadoop

进入到Hadoop安装包路径下

[atguigu@hadoop101 ~]$ cd /opt/software/

解压安装文件到/opt/module下面

[atguigu@hadoop101 software]$ tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/

查看是否解压成功

    [atguigu@hadoop101 software]$ ls /opt/module/

hadoop-2.7.2

4. 将Hadoop添加到环境变量
   （1）获取Hadoop安装路径

   [atguigu@hadoop101 hadoop-2.7.2]$ pwd

   /opt/module/hadoop-2.7.2
   （2）打开/etc/profile文件
   [atguigu@hadoop101 hadoop-2.7.2]$ sudo vi /etc/profile

在profile文件末尾添加JDK路径：（shitf+g）

##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

保存后退出
:wq
让修改后的文件生效

  [atguigu@ hadoop101 hadoop-2.7.2]$ source /etc/profile

5. 测试是否安装成功

   [atguigu@hadoop101 hadoop-2.7.2]$ hadoop version
   Hadoop 2.7.2

   基本上到这不会出现太大问题注意配置环境是版本不要写错了一半都能安装成功，如果安装错误大概率就是拖入安装包的时候容易丢失一些文件导致安装失败这里建议大家使用一款相当好用的软件非常适用mac系统相当于Windows中的xshell软件
   名字叫做finalshell可以支持大文件传输而且还可以在finalshell中执行linux命令，前提是你的静态ip配置的没问题，如果静态ip没有问题仍连接不上大家可以自行百度吧我之前也连接不上后来百度修改几个文件就好了。如果这些都没问题了往下就可以通过finalshell进行搭建，在进行finalshell连接时注意虚拟机也要打开不然连接不上。
   6.查看Hadoop目录结构

   [atguigu@hadoop101 hadoop-2.7.2]$ ll
   总用量 52
   drwxr-xr-x. 2 atguigu atguigu 4096 5月 22 2017 bin
   drwxr-xr-x. 3 atguigu atguigu 4096 5月 22 2017 etc
   drwxr-xr-x. 2 atguigu atguigu 4096 5月 22 2017 include
   drwxr-xr-x. 3 atguigu atguigu 4096 5月 22 2017 lib
   drwxr-xr-x. 2 atguigu atguigu 4096 5月 22 2017 libexec
   -rw-r–r--. 1 atguigu atguigu 15429 5月 22 2017 LICENSE.txt
   -rw-r–r--. 1 atguigu atguigu 101 5月 22 2017 NOTICE.txt
   -rw-r–r--. 1 atguigu atguigu 1366 5月 22 2017 README.txt
   drwxr-xr-x. 2 atguigu atguigu 4096 5月 22 2017 sbin
   drwxr-xr-x. 4 atguigu atguigu 4096 5月 22 2017 share
   7。 如果到这没有问题恭喜你jdk和Hadoop安装完成了然后就是启动HDFS并运行MapReduce程序
   配置：hadoop-env.sh

   [atguigu@hadoop101 ~] #vim /opt/module/hadoop-2.7.2/etc/hadoop/hadoop-env.sh

修改JAVA_HOME 路径：
export JAVA_HOME=/opt/module/jdk1.8.0_144
8.
配置：core-site.xml

配置：hdfs-site.xml

9.（a）格式化NameNode（第一次启动时格式化，以后就不要总格式化）

[atguigu@hadoop101 hadoop-2.7.2]$ bin/hdfs namenode -format
	（b）启动NameNode
[atguigu@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode
	（c）启动DataNode
[atguigu@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanode

（3）查看集群
（a）查看是否启动成功
[atguigu@hadoop101 hadoop-2.7.2]$ jps
13586 NameNode
13668 DataNode
13786 Jps
以后格式化是先删除data 和logs rm data -rf rm logs -rf 不要总格式化如果不成功看这个http://www.cnblogs.com/zlslch/p/6604189.html还不行私信我帮你看看。
10。启动YARN并运行MapReduce程序
配置集群
配置yarn-env.sh
配置一下JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
（b）配置yarn-site.xml

<!-- Reducer获取数据的方式 -->
<property>
 		<name>yarn.nodemanager.aux-services</name>
 		<value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop101</value>
</property>
	（c）配置：mapred-env.sh

配置一下JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_11
（d）配置： (对mapred-site.xml.template重新命名为) mapred-site.xml
[atguigu@hadoop101 hadoop]$ mv mapred-site.xml.template mapred-site.xml
[atguigu@hadoop101 hadoop]$ vi mapred-site.xml

<!-- 指定MR运行在YARN上 -->
<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
</property>

（2）启动集群
（a）启动前必须保证NameNode和DataNode已经启动
（b）启动ResourceManager

[atguigu@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh start resourcemanager

（c）启动NodeManager

[atguigu@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh start nodemanager

11. 配置历史服务器

12. 配置mapred-site.xml
    [atguigu@hadoop101 hadoop]$ vi mapred-site.xml
    在该文件里面增加如下配置。

    mapreduce.jobhistory.address hadoop101:10020 mapreduce.jobhistory.webapp.address hadoop101:19888

2. 启动历史服务器

[atguigu@hadoop101 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh start historyserver

3. 查看历史服务器是否启动

   [atguigu@hadoop101 hadoop-2.7.2]$ jps