Hadoop2.5.1完全分布式搭建

最新推荐文章于 2018-07-25 17:49:05 发布

安多的风ch

最新推荐文章于 2018-07-25 17:49:05 发布

阅读量469

点赞数

分类专栏： Linux

本文链接：https://blog.csdn.net/u014231889/article/details/80096257

版权

Linux 专栏收录该内容

6 篇文章 0 订阅

订阅专栏

搭建环境：Vmware12+Centos6.4
备注：基于虚拟机搭建hadoop完全分布式集群（没有截图！！！）

&&前期准备工作：

将vmware设置为桥接模式（即直接同外网连接，不用通过主机上网）

vmware中克隆虚拟机后，会出现以下三个问题：
    网络的配置和源机一样
    用户名称与源机一样
    用户的hosts与源机一样

1)修改网络配置

    1）vim /etc/udev/rules.d/70-persistent-net.rules
    首先注释掉eth0（这是源机的MAC地址），然后将eth1修改为eth0，同时记下其ATTR{address}的值，将其填入下面ifcfg-etho文件中的HWADDR

    # PCI device 0x8086:0x100f (e1000) (custom name provided by external tool)
    SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="00:0c:29:30:e5:54", ATTR{type}=="1", KERNEL=="eth*", NAME="eth0"

    # PCI device 0x8086:0x100f (e1000)
    SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="00:0c:29:15:1b:71", ATTR{type}=="1", KERNEL=="eth*", NAME="eth1"

    2）vim /etc/sysconfig/network-scripts/ifcfg-eth0

        DEVICE=eth0
        TYPE=Ethernet
        UUID=6f08c95f-b4c8-4af2-84b3-0c91c9460eaa
        ONBOOT=yes
        NM_CONTROLLED=yes
        BOOTPROTO=static
        DEFROUTE=yes
        IPV4_FAILURE_FATAL=yes
        IPV6INIT=no
        NAME="System eth0"
        HWADDR=00:0C:29:D6:65:6A
        PEERDNS=yes
        PEERROUTES=yes
        IPADDR=192.168.168.42
        NETMASK=255.255.255.0
        GATEWAY=192.168.168.1

    3）执行 service network restart 让网络配置文件生效


2)修改主机名称
    vim /etc/sysconfig/network
        NETWORKING=yes
        HOSTNAME=slave1

3)修改用户hosts
    192.168.168.174    slave1


** 若要实现三台机器互相ping通，可在三台机器分别修改其hosts文件：
    192.168.168.42    master
    192.168.168.174   slave1
    192.168.168.230   slave2

1.Java安装教程

1)mv jdk1.7.0_75.tar.gz /usr/local
2)tar -zxvf jdk1.7.0_75.tar.gz
3)mv jdk1.7.0_75 java
4)rm -f jdk1.7.0_75.tar.gz

2.Hadoop安装：

1)mv hadoop2.5.1.tar.gz /usr/local
2)tar -zxvf hadoop2.5.1.tar.gz
3)mv hadoop2.5.1 hadoop
4)rm -f hadoop2.5.1.tar.gz

3.Java & Hadoop 配置：

export JAVA_HOME=/usr/local/java
export JRE_HOME=$JAVA_HOME/jre
export HADOOP_HOME=/usr/local/hadoop
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib/dt.jar
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

4.SSH实现master免密码登录slaves

1).ssh-keygen -t rsa
    id_rsa -- 私钥
    id_rsa.pub -- 公钥

2).cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys -- 实现 ssh master 无密码登录

3).在slave1上执行ssh-keygen -t rsa（若没有.ssh目录），然后执行rm -f id_rsa.pub

4).在slave1上执行如下过程：
    1)scp root@master:~/.ssh/id_rsa.pub ~/.ssh/
    (注：scp -r /usr/local/haoop 192.168.168.174:/usr/local)
    2)cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

    slave2上执行过程同4中的步骤

5.hadoop2.5.1的配置（三台机器做同样的操作）

1）修改JAVA_HOME:分别在 hadoop-env.sh 和 yarn-env.sh 中添加JAVA_HOME的配置

2）core-site.xml

    <property>
            <name>hadoop.tmp.dir</name>
            <value>/opt/hadoop/tmp</value>
            <description>Abase for other temporary directories.</description>
    </property>
    <property>
            <!--默认文件系统 URI 定义主机名称和 namenode 的 RPC 服务器工作的端口号，默认值是8020-->
            <name>fs.defaultFS</name>
            <value>hdfs://master:9000</value>
    </property>
    <property>
            <name>io.file.buffer.size</name>
            <value>4096</value>
    </property>

3）hdfs-site.xml
    <property>
            <!--namenode 存储永久性的元数据的目录列表 namenode 在列表上的各个目录中均存放相同的元数据文件-->
            <name>dfs.namenode.name.dir</name>
            <value>file:///opt/hadoop/dfs/name</value>
    </property>
    <property>
            <!--datanode 存放数据块的目录列表。各个数据块分别存放于某一个目录中-->
            <name>dfs.datanode.data.dir</name>
            <value>file:///opt/hadoop/dfs/data</value>
    </property>
    <property>
            <name>dfs.replication</name>
            <value>2</value>
    </property>

    <property>
            <name>dfs.nameservices</name>
            <value>hadoop-cluster1</value>
    </property>
    <property>
            <!--辅助namenode的HTTP服务器地址和端口-->
            <name>dfs.namenode.secondary.http-address</name>
            <value>master:50090</value>
    </property>
    <property>
            <name>dfs.webhdfs.enabled</name>
            <value>true</value>
    </property>

4）mapred-site.xml
    <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
            <final>true</final>
    </property>
    <property>
            <name>mapreduce.jobtracker.http.address</name>
            <value>master:50030</value>
    </property>
    <property>
            <name>mapreduce.jobhistory.address</name>
            <value>master:10020</value>
    </property>
    <property>
            <name>mapreduce.jobhistory.webapp.address</name>
            <value>master:19888</value>
    </property>
    <property>
            <name>mapred.job.tracker</name>
            <value>http://master:9001</value>
    </property>

5）yarn-site.xml
    <property>
            <!--资源管理器运行所在的机器主机名-->
            <name>yarn.resourcemanager.hostname</name>
            <value>master</value>
    </property>
    <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
    </property>
    <property>
            <!--资源管理器的 RPC 服务器地址和端口 客户端通过它与资源管理器通信-->
            <name>yarn.resourcemanager.address</name>
            <value>master:8032</value>
    </property>
    <property>
            <!--资源管理器的调度器 RPC 服务器地址和端口 application master 借此与资源管理器通信-->
            <name>yarn.resourcemanager.scheduler.address</name>
            <value>master:8030</value>
    </property>
    <property>
            <!--资源管理器的 resource tracker 的 RPC 服务器地址和端口 节点管理器借此与资源管理器通信-->
            <name>yarn.resourcemanager.resource-tracker.address</name>
            <value>master:8031</value>
    </property>
    <property>
            <!--资源管理器的 admin RPC 服务器地址和端口 admin 客户端借此与资源管理器通信-->
            <name>yarn.resourcemanager.admin.address</name>
            <value>master:8033</value>
    </property>
    <property>
            <!--资源管理器的 HTTP 服务器地址和端口-->
            <name>yarn.resourcemanager.webapp.address</name>
            <value>master:8088</value>
    </property>

6）slaves
    slave1
    slave2

7）格式化文件系统
    bin/hdfs namenode -format

8）启动和停止
    ./start-dfs.sh
    ./start-yarn.sh

    ./stop-dfs.sh
    ./stop-yarn.sh

9）验证
    http://192.168.168.42:50070/
    http://192.168.168.42:8088/

6.运行hadoop-2.5.1自带的WordCount例子

1）在/usr/local 下面创建input目录
    mkdir input

2）在input目录下面创建两个文件file1.txt file2.txt，并向里面写入内容
    echo "hello world" > file1.txt
    echo "hello hadoop" > file2.txt
    vim file2.txt 追加 hello mapreduce

3）在HDFS上创建一个目录wc_input
    hdfs dfs -mkdir wc_input

4）将input目录下的文件上传到HDFS的wc_input
    hdfs dfs -put /usr/local/input/file* wc_input

5）查看上传是否成功
    hdfs dfs -ls wc_input

6）在mapreduce目录下运行hadoop-2.5.1自带的WordCount.jar
    hadoop jar hadoop-mapreduce-examples-2.5.1.jar wordcount wc_input wc_output

7）查看运行结果
    hdfs dfs -ls wc_output
    hdfs dfs -cat wc_output/part-r-00000

安多的风ch

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
Hadoop2.5.1完全分布式搭建

搭建环境：Vmware12+Centos6.4 备注：基于虚拟机搭建hadoop完全分布式集群（没有截图！！！）&amp;&amp;前期准备工作：将vmware设置为桥接模式（即直接同外网连接，不用通过主机上网）vmware中克隆虚拟机后，会出现以下三个问题：网络的配置和源机一样用户名称与源机一样用户的hosts与源机一样1)修改网络配置 ...
复制链接

扫一扫