进行Hadoop的安装和配置
第一步 建立一个文件
mkdir /hadoop
进入下载的hadoop-2.7.1.tar.gz的文件中进行解压,解压到建立的文件夹中去
tar -zxvf hadoop-2.7.1.tar.gz -C /hadoop/
然后对hadoop进行配置
首先进入hadoop的etc配置文件中
cd /hadoop/hadoop-2.7.1/etc/hadoop
第一个需要配置的 :hadoop-env.sh
vim hadoop-env.sh
配置当中的JAVA_HOME,将${JAVA_HOME}修改成安装的路径
export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_79
第二需要配置的是:core-site.xml
vim core-site.xml
然后进行配置
<configuration>
<!-- 用来指定HDFS的老大(NameNode)的地址 这里可以用IP也可以写hostname -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.0.100:9000</value>
</property>
<!-- 用来指定hadoop运行时产生文件的存放目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop/hadoop-2.7.1/tmp</value>
</property>
</configuration>
第三个需要配置的文件: hdfs-site.xml
vim hdfs-site.xml
然后进行配置
这里是进行副本的数量的设置,如果是伪分布式的话副本是1,一般分布式集群默认是3,表示包括文件本身和副本一共的数量是3份。
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
第四个需要配置的文件:mapred-site.xml
这里没有mapred-site.xml,但是我们有template结尾的,重命名即可。
mv mapred-site.xml.template mapred-site.xml
然后进行配置
vim mapred-site.xml
<!-- 告诉Hadoop以后MR运行在YARN上 -->
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
第五个配置文件:yarn-site.xml
vim yarn-site.xml
进行配置
<configuration>
<!-- Site specific YARN configuration properties -->
<!-- 告诉NodeManager获取数据的方式是shuffle方式。 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的老大(ResourceManager)的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop01</value>
</property>
</configuration>
这样Hadoop的基本配置就完成了。下一步进行测试运行。