Linux环境下配置和安装hadoop及hadoop集群搭建(VMware)

一、安装准备

在linux环境下安装hadoop需要准备的资料如下：

这里主要需要准备的就是jdk和hadoop安装包，将这两个拖到opt目录下解压，jdk的环境变量还是像之前那样配置。
这里可以事先配置好另外两个host，方便后面的集群搭建，参照前面ELK集群搭建的配置方法，能够实现免密登录即可。

二、hadoop的配置

首先切换到如下目录：

[root@localhost opt]# mv hadoop-2.6.0-cdh5.14.2/ hadoop  --先将解压好的hadoop目录改个名
[root@localhost hadoop]# cd etc/hadoop  --再切换到其下面etc/hadoop下

此时进行ll查看，可以看到有很多xml、sh等类型的文件。

1.首先配置hadoop-env.sh

# The java implementation to use.
#export JAVA_HOME=${JAVA_HOME}   
export JAVA_HOME=/opt/java8

这里将jdk的路径改成自己配置的路径，这里我也将jdk重命名成java8，改完后保存退出

2.配置core-site.xml

<configuration>
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://192.168.234.101:9000</value>   --默认节点端口，端口号默认是9000
</property>
<property>
   <name>hadoop.tmp.dir</name>  
   <value>/opt/hadoop/tmp</value>   --hdfs存放的临时目录
</property>
<property>
   <name>hadoop.proxyuser.root.hosts</name>
   <value>*</value>    --其他机器的所有root用户可以访问
 </property>
<property>
   <name>hadoop.proxyuser.root.groups</name>
   <value>*</value>   --其他root用户的组内用户可以访问
 </property>
</configuration>

在configuration里面加上属性配置。

3.配置hdfs-site.xml

<configuration>
<property>
  <name>dfs.replication</name>
  <value>1</value>  ---副本数
&