安装hadoop2.6.1集群

最新推荐文章于 2021-05-25 13:12:56 发布
最新推荐文章于 2021-05-25 13:12:56 发布
阅读量1k 收藏 1
点赞数
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013619834/article/details/46598791
版权
1. 下载64位hadoop

wget http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.6.1/hadoop-2.6.1.tar.gz
tar zxvf hadoop-2.6.1.tar.gz
file hadoop-2.6.1/lib/native/libhadoop.so.1.0.0


2. 安装JDK
http://blog.csdn.net/u013619834/article/details/38894649


3.修改主机名和host文件
vim /etc/hosts
192.168.20.221  master1
192.168.20.223  slave1
192.168.20.224  slave2
192.168.20.225  slave3
vim /etc/sysconfig/network
分别修改主机名


4. 创建hadoop用户
useradd hadoop
echo "hadooppwd" | passwd --stdin hadoop

5. 在master1设置秘钥登录
su - hadoop
ssh-keygen
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@master1
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@slave1
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@slave2
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@slave3


6. 修改配置文件
把编译好的hadoop的native目录替换
rm -rf /home/hadoop/hadoop-2.6.1/lib/native
cp -r lib/native /home/hadoop/hadoop-2.6.1/lib

tar zxvf hadoop-2.6.1.tar.gz
mv hadoop-2.6.1 /home/hadoop
chown -R hadoop.hadoop /home/hadoop/hadoop-2.6.1
cd /home/hadoop/hadoop-2.6.1/etc/hadoop


vim slaves
添加

slave1
slave2
slave3


vim core-site.xml
添加 
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master1:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/data/hadoop</value>
    </property>
</configuration>


vim hdfs-site.xml
添加 
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
</configuration>

cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
添加 
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>


vim yarn-site.xml
添加 
<?xml version="1.0"?>
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>



7. 复制hadoop项目目录到所有其他节点
scp -r hadoop-2.6.1 hadoop@slave1:~
scp -r hadoop-2.6.1 hadoop@slave2:~
scp -r hadoop-2.6.1 hadoop@slave3:~


8. 回到root用户创建目录
mkdir -p /data/hadoop
chown -R hadoop.hadoop /data/hadoop
chown -R hadoop.hadoop /home/hadoop/hadoop-2.6.1
su - hadoop

9. 常用命令
格式化namenode
/home/hadoop/hadoop-2.6.1/bin/hdfs namenode -format

启动hadoop
/home/hadoop/hadoop-2.6.1/sbin/start-all.sh

停止hadoop
/home/hadoop/hadoop-2.6.1/sbin/stop-all.sh



















1. 安装JDK

http://blog.csdn.net/u013619834/article/details/38894649

2. 安装zookeeper集群(这里使用192.168.1.121 192.168.1.122 192.168.1.123)
http://blog.csdn.net/u013619834/article/details/41316957


3. 修改主机名和host文件

vim /etc/hosts
192.168.1.111 HMaster1
192.168.1.112 HMaster2
192.168.1.121 HSlave1
192.168.1.122 HSlave2
192.168.1.123 HSlave3

vim /etc/sysconfig/network

分别修改主机名



4. 创建hadoop用户
useradd hadoop
echo "hadooppwd" | passwd --stdin hadoop

5. 在HMastder1和HMaster2设置密钥登陆
su - hadoop
ssh-keygen
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@192.168.1.111
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@192.168.1.112
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@192.168.1.121
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@192.168.1.122
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@192.168.1.123
scp id_rsa hadoop@192.168.1.112:~/.ssh/id_rsa
在HMaster1和HMaster2上面分别ssh登陆其他的服务器金测试密钥登陆


6.这一步还是有问题，还是需要下载源代码并编译
 
下载hadoop(http://hadoop.apache.org/releases.html)，从2.5开始官方提供编译好的64位hadoop下载
su - hadoop
cd ~
wget http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz
tar zxvf hadoop-2.6.0.tar.gz
查看是否64位
file hadoop-2.6.0/lib/native/libhadoop.so.1.0.0

7. 修改配置文件
cd hadoop-2.6.0/etc/hadoop
vim core-site.xml 
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!--HDFS路径逻辑名称，需与hdfs-site.xml中的dfs.nameservices-->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hcluster</value>
    </property>

    <!--Hadoop存放数据的目录-->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/data/hadoop</value>
    </property>

    <!--使用的zookeeper集群地址-->
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>192.168.1.121:2181,192.168.1.122:2181,192.168.1.123:2181</value>
    </property>
</configuration>


vim hdfs-site.xml 
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- 需要和core-site.xml中的fs.defaultFS配置同样的名称 -->
    <property>
        <name>dfs.nameservices</name>
        <value>hcluster</value>
    </property>

    <!--NameNode地址集群标识（hcluster），最多两个-->
    <property>
        <name>dfs.ha.namenodes.hcluster</name>
        <value>HMaster1,HMaster2</value>
    </property>

    <!--HDFS文件系统数据存储位置，可以分别保存到不同硬盘，突破单硬盘性能瓶颈，多个位置以逗号隔开-->
    <property>
        <name>dfs.data.dir</name>
        <value>/data/hadoop/hdfs/data</value>
    </property>

    <!--数据副本数量，根据HDFS台数设置，默认3份-->
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>

    <!--每个namenode监听的RPC地址-->
    <property>
        <name>dfs.namenode.rpc-address.hcluster.HMaster1</name>
        <value>HMaster1:9000</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.hcluster.HMaster2</name>
        <value>HMaster2:9000</value>
    </property>

    <!--NameNode HTTP访问地址-->
    <property>
        <name>dfs.namenode.http-address.hcluster.HMaster1</name>
        <value>HMaster1:50070</value>
    </property>
    <property>
        <name>dfs.namenode.http-address.hcluster.HMaster2</name>
        <value>HMaster2:50070</value>
    </property>

    <!--NN存放元数据和日志位置-->
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/data/hadoop/hdfs/name</value>
    </property>

    <!--这是NameNode读写JNs组的uri-->
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://HSlave1:8485;HSlave1:8485;HSlave3:8485/hcluster</value>
    </property>

    <!--设置journalnode节点保存本地状态的目录-->
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/data/hadoop/dfs/journal</value>
    </property>

    <!--开启NameNode失败自动切换-->
    <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>

    <!--NameNode失败自动切换实现方式-->
    <property>
        <name>dfs.client.failover.proxy.provider.hcluster</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>

    <!--隔离机制方法，确保任何时间只有一个NameNode处于活动状态-->
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>sshfence</value>
    </property>

    <!--使用sshfence隔离机制要SSH免密码认证-->
    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/home/hadoop/.ssh/id_rsa</value>
    </property>
</configuration>


vim yarn-site.xml 
<?xml version="1.0"?>

<configuration>
    <!--启用RM高可用-->
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>

    <!--RM集群标识符-->
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>yarn-cluster</value>
    </property>

    <!--指定两台RM主机名标识符-->
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>

    <!--RM主机1-->
    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>HMaster1</value>
    </property>
    <!--RM主机2-->
    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>HMaster2</value>
    </property>

    <!--RM故障自动切换-->
    <property>
        <name>yarn.resourcemanager.ha.automatic-failover.recover.enabled</name>
        <value>true</value>
    </property>

    <!--RM故障自动恢复-->
    <property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
    </property>

    <!--RM状态信息存储方式-->
    <property>
       <name>yarn.resourcemanager.store.class</name>
       <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
    </property>

    <!--使用ZK集群保存状态信息-->
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>192.168.1.121:2181,192.168.1.122:2181,192.168.1.123:2181</value>
    </property>

    <!--向RM调度资源地址-->
    <property>
        <name>yarn.resourcemanager.scheduler.address.rm1</name>
        <value>HMaster1:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address.rm2</name>
        <value>HMaster2:8030</value>
    </property>

    <!--NodeManager通过该地址交换信息-->
    <property>
        <name>yarn.resourcemanager.resource-tracker.address.rm1</name>
        <value>HMaster1:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address.rm2</name>
        <value>HMaster2:8031</value>
    </property>

    <!--客户端通过该地址向RM提交对应用程序操作-->
    <property>
        <name>yarn.resourcemanager.address.rm1</name>
        <value>HMaster1:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address.rm2</name>
        <value>HMaster2:8032</value>
    </property>
   
    <!--管理员通过该地址向RM发送管理命令-->
    <property>
        <name>yarn.resourcemanager.admin.address.rm1</name>
        <value>HMaster1:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address.rm2</name>
        <value>HMaster2:8033</value>
    </property>

    <!--RM HTTP访问地址,查看集群信息-->
    <property>
        <name>yarn.resourcemanager.webapp.address.rm1</name>
        <value>HMaster1:8088</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address.rm2</name>
        <value>HMaster2:8088</value>
    </property>
</configuration>


vim mapred-site.xml 
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!--指定MR框架为YARN-->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <!-- 配置 MapReduce JobHistory Server地址 ，默认端口10020 -->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>0.0.0.0:10020</value>
    </property>
    <!-- 配置 MapReduce JobHistory Server HTTP地址， 默认端口19888 -->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>0.0.0.0:19888</value>
    </property>
</configuration>


vim hadoop-env.sh

修改

export JAVA_HOME=/usr/java/jdk1.7.0_79


vim slaves 
HSlave1
HSlave2
HSlave3


8. 回到root用户创建目录
mkdir -p /data/hadoop
chown -R hadoop.hadoop /data/hadoop

9. 复制hadoop项目目录到所有其他节点
scp -r hadoop-2.6.0 hadoop@192.168.1.112:~
scp -r hadoop-2.6.0 hadoop@192.168.1.121:~
scp -r hadoop-2.6.0 hadoop@192.168.1.122:~
scp -r hadoop-2.6.0 hadoop@192.168.1.123:~


10. 常用命令
对NameNode（HMaster1）节点进行格式化
cd /home/hadoop/hadoop-2.6.0/bin
./hdfs namenode -format
zhao8209
关注
专栏目录
hadoop-2.6.1 winutil处理
ryfxff的博客
05-07 162
原始数据 HDFS words hello tom hello jerry hello kitty hello world hello tom Map阶段 1.每次读一行数据, 2.拆分每行数据, 3.每个单词碰到一次写个1 <0, "hello tom"> <10, "hello jerry"> <22, "hello kitty"> <34, "hello world"> <46, "hello tom...
hadoop-2.6.1安装
工作点滴
07-11 579
categories: - Hadoop date: 2015-11-23 21:35:22 --- ## 1.安装JDK 7 ### 1.1新建目录 ```shell mkdir /usr/local/jdk/ ``` 将jdk1.7.0_79.tar.gz解压到此目录,目录结构 /usr/local/jdk/jdk1.7.0_79 ### 1.2全
hadoop-2.6.1安装教程
03-14
内附hadoop的详细安装步骤，亲测可用
Hadoop2.6.1安装
小曾同志的专栏
04-08 858
JDK下载地址：jdk-8u66-linux-x64.tar.gzLinux安装JDK及环境变量配置，参见：http://blog.csdn.net/yuan_xw/article/details/49948285 2、Hadoop下载：hadoop-2.7.1.tar.gz 3、Zookeeper下载：zookeeper-3.4.5.tar.gz首先安装JDK安装好jdk之后vim ~/.bas...
linux 安装 hadoop2.6,centos7安装hadoop2.6.1，详细教程
weixin_35282700的博客
05-25 178
1.我搭建的是三台centos7的环境 首先准备三个centos7(文中出现的所有的链接都是我自己的)centos7下载地址(也可以上官网自行下载):https://pan.baidu.com/s/1Y_EVLDuLwpKv2hU3HSiPDA 提取码：05mi2.安装完成后需要修改ip,都改为静态的ipvi /etc/sysconfig/network-scripts/ifcfg-ens33(有...
win7编译过的hadoo2.6.1包括hadoop.dll和winutils.exe
11-10
标题中的“win7编译过的hadoop2.6.1”指的是这个版本的Hadoop是为Windows 7操作系统特别编译的，确保在该平台上能够正常运行。Hadoop是一个开源框架，主要用于分布式存储和计算，它由Apache软件基金会开发。在...
hadoop2.6.1针对window的编译版本
09-07
在本案例中，我们讨论的是针对Windows系统的Hadoop 2.6.1的编译版本，这个版本可能经过了特殊优化以适应Windows操作环境。 首先，我们需要理解Hadoop的分发方式。通常，大型的Hadoop发行版会以压缩文件的形式提供，...
hadoop-2.6.1.tar.gz
05-07
这个名为“hadoop-2.6.1.tar.gz”的压缩包文件包含了Hadoop 2.6.1版本的所有源代码、二进制文件、配置文件以及相关的文档资料。下面我们将深入探讨Hadoop 2.6.1版本中的关键知识点。 一、Hadoop架构 Hadoop由两个...
02大数据学习之hadoop搭建——hadoop-2.6.1
anchor_lin的博客
05-02 396
前言——hadoop搭建2.x和1.x有区别，这里不做阐述。介绍2.6.1搭建的过程，主要是配置文件中参数的配置需要的工具包——jdk1.7,hadoop-2.6.1,集群环境是上篇博客中自己搭建的虚拟集群：                1、安装包下载：方法自行get2、先安装jdk,将压缩包解压：tar zxvf jdk-7u67-linux-x64.tar.gz配置jdk环境变量：maste...
虚拟机Ubuntu下Hadoop2.6.1的安装和配置（完全分布式）
yuzhuzhong的博客
11-23 2027
本篇文章是在上一篇的的基础上所写，前文已经详细讲解了在怎样配置单机伪分布式的Hadoop，本文着重于完全分布式的配置。此次Hadoop的配置主要是参考了官网及网络上一些教程总结而来,如有错误，多谢指点。 伪分布式：http://blog.csdn.net/yuzhuzhong/article/details/49922845 本教程所使用的集群环境: 两台虚拟机，一台作为 Mast
windows-hadoop2.6.1依赖文件
12-11
windows下建立hadoop环境时，在bin文件夹下需要添加的依赖文件
hadoop-2.6.1-windows.zip
05-19
window X64平台下hadoop编译包，window X64平台下hadoop编译包
hadoop2.6.1 的搭建与启动
Reashion的博客
07-26 489
hadoop2.6.1的配置 cd hadoop2.6.1/etc/hadoop vim hadoop-env.sh 添加Java环境 export JAVA_HOME=/usr/local/src/jdk1.8.0_172   vim yarn-env.sh  添加Java环境 export JAVA_HOME=/usr/local/jdk1.8.0_172   vim sl...
Hadoop 2.6.1安装配置详解
haiziccc的专栏
08-31 375
1.配置Java，我这里是用的1.7版本，配置好环境变量； 2.下载Hadoop（https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/）并上传至服务器上； 3.进入到/usr/local/src/hadoop-2.6.1/etc/hadoop目录下，开始配置： （1）hadoop-env.sh -> JAVA_HOME...
Hadoop 2.6.1 单机模式配置 by GISer_Leo@UMN
探索地理之源 分享GIS价值
10-16 625
如题，很开心，Hadoop 2.6.1单机模式不需要任何配置就可以运行。 下载---解压---运行就好啦。
Hadoop2.6.1集群环境搭建
Code_zhu的博客
06-28 290
Hadoop2.6.1环境搭建环境及版本删除机器自带的JAVA环境三台机器均需关闭防火墙获取hadoop、JAVA设置环境变量配置ssh免密登入hadoop配置文件修改将hadoop分发给slave1，slave2启动集群 环境及版本 CentOS7 JAVA8 Hadoop2.6.1 集群环境 master: 192.168.27.130 slave1: 192.168.27.131 slave2: 192.168.27.132 以下未做说明操作均在master节点上 删除机器自带的JAVA
Spark2.2.1+hadoop2.6.1安装配置成功运行WordCount
zjwcsdn123的博客
03-28 1028
    hadoop2.6.1安装配置可以参考：分布式环境搭建redhat7+hadoop2.6.1+jdk1.8+WordCount成功运行例子Scala安装与配置1.下载Scala包2. 新建一个目录，将scala包复制进去使用如下命令解压tar -zxvf scala-2.12.4.tgz3. 配置环境变量vi /etc/profile在文件末尾增加以下内容：export SCALA_HOM...
windows下安装并启动hadoop2.6.1
烂笔头的专栏
12-11 2618
64位windows安装hadoop没必要倒腾Cygwin，直接解压官网下载hadoop安装包到本地->最小化配置4个基本文件->执行1条启动命令->完事。一个前提是你的电脑上已经安装了jdk，设置了java环境变量，本人用的是jdk1.7.0_15。下面把这几步细化贴出来，以hadoop2.6.1为例　　1、下载hadoop安装包就不细说了：https://archive.apache.org/d
手把手教你安装Hadoop 0.20.2集群
"这篇文档提供了一个Hadoop 0.2.0版本在实验环境下的安装教程，适用于三台运行Redhat 5.5版本的Linux虚拟机。文档中包括了网络配置、JDK安装以及Hadoop的安装步骤，并对相关环境变量进行了设置。" Hadoop是一种...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值