Hadoop集群环境搭建(虚拟机)

虚拟机环境搭建Hadoop集群

———————基础环境搭建-------------------

虚拟机网络设置：

桥接模式的话会生成一个MAC地址与虚拟机对应

NAT模式一般常用

重启生效：service iptables start

Centos6.5环境

1、关闭防火墙

chkconfig  iptables on/off

2、更新yum源

/etc/yum.repos.d/CentOS-Base.repo   ---根据Linux系统版本选取

yum clean all

3、关闭防火墙：chkconfig iptables off

4、配置jdk

配置网卡：(复制虚拟机环境需要操作)

记录硬件地址：ifconfig -a   —> HWaddr  如：00:1C:42:DF:4C:81

1）cd /etc/sysconfig/network-scripts/

2）cp ifcfg-eth0 ifcfg-eth1

3）修改DEVICE  和HWaddr 与之对应。

4）service network restart 重启网卡

配置vim  /etc/hosts:域名解析（以作者环境ip为例）

10.211.55.10   hadoop   hadoop

10.211.55.9     hadoop01 hadoop01

10.211.55.11   hadoop02 hadoop02

5、配置免密登陆

ssh-keygen -t rsa  

ssh-copy-id    hadoop01 将公钥copy到免密登陆的服务器上

----------------hadoop集群环境----------------

1、将已编译好的64位hadoop放/export/servers下并对bin  sbin配置好环境变量，如果没有编译64位、请自行编译或下载已编译好的进行部署。

2、修改配置文件 /hadoop2.x.x/etc/：

   1) hadoop-env.sh

        export JAVA_HOME=/usr/local/java/jdk1.8.0_121/

   2)hdfs-site.xml

   <configuration>

        <property>

             <name>dfs.replication</name>

              <value>2</value> 副本数量

        </property>

        <property>

              <name>dfs.secondary.http.address</name>        

              <value>hadoop01:50090</value>        

        </property>

</configuration>

    3) core-site.xml

<configuration>

     <property>

          <name>fs.defaultFS</name>

          <value>hdfs://hadoop01:9000</value>

          </property>

     <property>

          <name>hadoop.tmp.dir</name>

          <value>/export/data/hadoop/tmp</value>

     </property>

</configuration>

    4) mapred-site.xml

<configuration>

    <property>

         <name>mapreduce.framework.name</name>

         <value>yarn</value>

    </property>

</configuration>

    5) mapred-env.sh

           export JAVA_HOME=/usr/local/java/jdk1.8.0_121/

    6) yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->

     <property>

          <name>yarn.resourcemanager.hostname</name>

          <value>hadoop01</value>

     </property>

     <property>

          <name>yarn.nodemanager.aux-services</name>

          <value>mapreduce_shuffle</value>

     </property>

</configuration>

格式化namenode:  hdfs namenode -format

启动hadoop:

start-dfs.sh

start-yarn.sh      启动mapreduce

补充：Hadoop shell 常用命令：

http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html#text

hadoop fs -ls /

hadoop fs -lsr /   递归查看目录结构

hadoop fs -du  -h  统计目录文件大小

hadoop fs -rmr  递归删除

hadoop fs -put  <源文件>  <hdfs路径>   上传文件

hadoop fs -copyFromLocal  <源文件>  <hdfs路径>

stop-dfs.sh

jps

Demo词频统计

hadoop jar hadoop-mapreduce-examples-2.6.1.jar  wordcount  /data/hdfsInput   /data/hdfsOutput

hadoop后台：

http://10.211.55.10:8088/cluster