实验一centos7+hadoop基础以及分布式的搭建

Hadoop解决的问题：

Hadoop主要就就是解决存储和计算两个问题（分布式存储和分布式计算）个人理解应该是基于庞大的简便的扩容机制，众多的slave节点同时处理数据。

centos系统下搭建Hadoop伪分布式搭建：

环境配置

centos7 配置

启动 ifconfig
sudo yum -y install net-tools vim

若出现 hadoop（你的用户名）is not in the sudoers file :

   

 1.  sudo root
 2. vi /etc/sudoers
 3.   找到  root   ALL=(ALL)      ALL
 4. 在下面添加 hadoop (hadoop为本机用户名)    ALL=(ALL)     ALL
 5.  保存 并退出vi 
 6.   重新执行 sudo yum -y install net-tools vim 

** 下载安装HADOOP2.7.3**

archive.apache.org/dist/hadoop/core/stable

1.建立一个文件夹存放解压后的hadoop程序itcast

#cd root/
#mkdir itcast

2.解压下载的hadoop-2.7.3.tar.gz到itcast目录

#tar -zxvf hadoop-2.7.3.tar.gz -C /root/itcast

2.1修改/etc/profile文件，末行加入

unset i
unset -f pathmunge


export JAVA_HOME=/usr/latest/jdk1.8.0_121
export HADOOP_HOME=/root/itcast/hadoop-2.7.3/
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

刷新配置

   #source /etc/profile

3.配置伪分布式，要修改5个配置文件
第一个：hadoop-env.sh

#cd itcast/hadoop2.7.3/etc/hadoop
#vim hadoop-env.sh

将$JAVA_HOME的路径改为绝对路径

第二个：hadoop

<configuration>
<!-- 用来指定HDFS的老大(NameNode)的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://itcast01:9000</value>
</property>
<!-- 用来指定Hadoop运行时产生的文件-->
<property>
<name>hadoop.tmp.dir</name>
<value>/root/itcast/hadoop-2.7.3/tmp</value>
</property>
</configuration>

第三个：hdfs-site.xml

#vim hdfs-site.xml
<configuration>
<!-- 指定HDFS保存数据副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

第四个：mapred-site.xml

<configuration>
<!-- 告诉Hadoop以后MR运行在YARN上 -->
<property>
<name>mapreduce.framework.name</name>
<!-- 注意大小写 -->
<value>yarn</value>
</property>
</configuration>

第五个：yarn-site.xml

<configuration>
<!-- NodeManager获取数据的方式是shuffle -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的老大（ResourceManager） -->
<property>
<name>yarn.resourcemanager.hostname</name>
<!-- 如果YARN外部无法登陆，就使用IP地址 -->
<value>itcast01</value>
</property>
</configuration>

4.初始化HDFS（格式化文件系统）

#hadoop namenode -format

#hdfs namenode -format

在主节点centos01上面输入格式化命令hdfs namenode -format，格式化集群。
注：如果不是第一次格式化，三台虚拟机都删除/opt/module/hadoop-2.7.3下面的tmp、logs目录：
rm –rf /optmodule/hadoop-2.7.3/tmp rm –rf /opt/module/hadoop-2.7.3/logs
注：如果格式化之前启动过集群，先在主节点bigdata128上面停止集群（stop-all.sh），再格式化。

5.启动HDFS和YARN

start-all.sh

输入jps命令
启动正常jps显示3台主机如上如下：



在Windows浏览器中访问网址http://192.168.233.128:50070显示如下（在Windows中需要配置hosts文件，需添加

192.168.233.128 centos01
192.168.233.131 centos02
192.168.233.132 centos03