Hadoop :安装(单机及集群)的配置## 标题
- 一:首先在虚拟机中进行解压
二:配置Hadoop ./etc/hadoop目录下的文件
配置hadoop-env.sh
配置core-site.xml (配置完此步,需要在hadoop260目录下建hadoop2目录)
配置hdfs-site.xml
配置mapred-site.xml
配置yarn-site.xml
配置vi ./slaves
3.2Hadoop环境变量配置
刷新环境变量
格式化HDFS (第一次启动要格式化,以后定期删除日志就好)
启动hadoop
配置native(可以进行配置,也可以不配置)
三:访问Hadoop
四:配置Hadoop 集群(需要先配置虚拟机之间的免密服务)
准备
以上是主机之间网络通信的基础,接下来在hadoopha上单独配置hadoop环境,hadoop1和hadoop2不用安装hadoop,只有jdk即可
执行vim etc/hadoop/hadoop-env.sh
执行vi etc/hadoop/core-site.xml
执行vim etc/hadoop/hdfs-site.xml,同样位置添加如下配置:
执行vim etc/hadoop/mapred-site.xml,同样位置添加如下配置:
执行vim etc/hadoop/yarn-site.xml,添加如下配置:
编辑slaves文件,执行etc/hadoop/slaves
然后退到上一层目录,把配置好的hadoop目录和profile发送到hadoop1和hadoop2中(需要在datanote上刷新profile)
接下来使用WordCount例子来测试集群的运行:
一:首先在虚拟机中进行解压
tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz -C ../bigdata
二:配置Hadoop ./etc/hadoop目录下的文件
配置hadoop-env.sh
# The java implementation to use.
export JAVA_HOME=/opt/greeinstall/jdk18111
配置core-site.xml (配置完此步,需要在hadoop260目录下建hadoop2目录)
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192