Hadoop解决的问题:
Hadoop主要就就是解决存储和计算两个问题(分布式存储和分布式计算)个人理解应该是基于庞大的简便的扩容机制,众多的slave节点同时处理数据。
centos系统下搭建Hadoop伪分布式搭建:
环境配置
centos7 配置
启动 ifconfig
sudo yum -y install net-tools vim
若出现 hadoop(你的用户名)is not in the sudoers file :
1. sudo root
2. vi /etc/sudoers
3. 找到 root ALL=(ALL) ALL
4. 在下面添加 hadoop (hadoop为本机用户名) ALL=(ALL) ALL
5. 保存 并退出vi
6. 重新执行 sudo yum -y install net-tools vim
** 下载安装HADOOP2.7.3**
archive.apache.org/dist/hadoop/core/stable
1.建立一个文件夹存放解压后的hadoop程序itcast
#cd root/
#mkdir itcast
2.解压下载的hadoop-2.7.3.tar.gz到itcast目录
#tar -zxvf hadoop-2.7.3.tar.gz -C /root/itcast
2.1修改/etc/profile文件,末行加入
unset i
unset -f pathmunge
export JAVA_HOME=/usr/latest/jdk1.8.0_121
export HADOOP_HOME=/root/itcast/hadoop-2.7.3/
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
刷新配置
#source /etc/profile
3.配置伪分布式,要修改5个配置文件
第一个:hadoop-env.sh
#cd itcast/hadoop2.7.3/etc/hadoop
#vim hadoop-env.sh
将$JAVA_HOME的路径改为绝对路径
第二个:hadoop
<configuration>
<!-- 用来指定HDFS的老大(NameNode)的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://itcast01:9000</value>
</property>
<!-- 用来指定Hadoop运行时产生的文件-->
<property>
<name>hadoop.tmp.dir</name>
<value>/root/itcast/hadoop-2.7.3/tmp</value>
</property>
</configuration>
第三个:hdfs-site.xml
#vim hdfs-site.xml
<configuration>
<!-- 指定HDFS保存数据副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
第四个:mapred-site.xml
<configuration>
<!-- 告诉Hadoop以后MR运行在YARN上 -->
<property>
<name>mapreduce.framework.name</name>
<!-- 注意大小写 -->
<value>yarn</value>
</property>
</configuration>
第五个:yarn-site.xml
<configuration>
<!-- NodeManager获取数据的方式是shuffle -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的老大(ResourceManager) -->
<property>
<name>yarn.resourcemanager.hostname</name>
<!-- 如果YARN外部无法登陆,就使用IP地址 -->
<value>itcast01</value>
</property>
</configuration>
4.初始化HDFS(格式化文件系统)
#hadoop namenode -format
#hdfs namenode -format
在主节点centos01上面输入格式化命令hdfs namenode -format,格式化集群。
注:如果不是第一次格式化,三台虚拟机都删除/opt/module/hadoop-2.7.3下面的tmp、logs目录:
rm –rf /optmodule/hadoop-2.7.3/tmp rm –rf /opt/module/hadoop-2.7.3/logs
注:如果格式化之前启动过集群,先在主节点bigdata128上面停止集群(stop-all.sh),再格式化。
5.启动HDFS和YARN
start-all.sh
输入jps命令
启动正常jps显示3台主机如上如下:
在Windows浏览器中访问网址http://192.168.233.128:50070显示如下(在Windows中需要配置hosts文件,需添加
192.168.233.128 centos01
192.168.233.131 centos02
192.168.233.132 centos03