hadoop 2.0安装及HA配置简述

最新推荐文章于 2024-09-15 01:19:00 发布
最新推荐文章于 2024-09-15 01:19:00 发布
阅读量161 收藏
点赞数
文章标签： 大数据 java 运维
原文链接：http://www.cnblogs.com/cqdxwjd/p/9939999.html
版权

一.单机模式

a、配置本机到本机的免密登录

b、解压hadoop压缩包，修改hadoop.env.sh中的JAVA_HOME

c、修改core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://192.168.110.222</value>
  </property>
</configuration>

d、修改hadfs-site.xml

<configuration>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/root/softs/hadoop-2.7.3/namelog</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/root/softs/hadoop-2.7.3/datalog</value>
  </property>
</configuration>

e、格式化namenode，启动hfds

bin/hdfs namenode -format
sbin/start-dfs.sh

 二.高可用配置

a.节点规划

hostnameipsoftwarejps
hbase1192.168.110.51jdk/hadoopnamenode/resourcemanager/zkfc
hbase2192.168.110.52jdk/hadoopnamenode/resourcemanager/zkfc
hbase3192.168.110.53jdk/hadoop/zookeeperdatanode/nodemanager/journalnode/quorumpeermain
hbase4192.168.110.54jdk/hadoop/zookeeperdatanode/nodemanager/journalnode/quorumpeermain
hbase5192.168.110.55jdk/hadoop/zookeeperdatanode/nodemanager/journalnode/quorumpeermain

b.配置免密登录

c.hadoop主要配置文件

core-site.xml

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://myCluster</value>
        </property>
        <property>
        <name>io.file.buffer.size</name>
        <value>131072</value>
        </property>
        <property>
                <name>fs.trash.interval</name>
                <value>1</value>
        </property>
        <property>
                <name>ha.zookeeper.quorum</name>
                <value>hbase3:2181,hbase4:2181,hbase5:2181</value>
        </property>
</configuration>

hdfs-site.xml

<configuration>
        <property>
        <name>dfs.namenode.name.dir</name>
    <value>file:///root/softs/hadoop-2.7.3/namelogs</value>
        </property>
        <property>
                <name>dfs.blocksize</name>
                <value>128m</value>
        </property>
        <property>
        <name>dfs.namenode.handler.count</name>
    <value>100</value>
    </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:///root/softs/hadoop-2.7.3/data</value>
        </property>
        <!-- the max number of files a datanode will serve at any one time -->
        <property>
        <name>dfs.datanode.max.transfer.threads</name>
        <value>4096</value>
        </property>
        <property>
                <name>dfs.webhdfs.enabled</name>
                <value>true</value>
        </property>

        <property>
                <name>dfs.nameservices</name>
                <value>myCluster</value>
        </property>
        <property>
    <name>dfs.ha.namenodes.myCluster</name>
    <value>nn1,nn2</value>
  </property>
        <property>
    <name>dfs.namenode.rpc-address.myCluster.nn1</name>
    <value>hbase1:8020</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.myCluster.nn2</name>
    <value>hbase2:8020</value>
  </property>
        <!-- 配置nn1,nn2的http通信端口 -->
        <property>
    <name>dfs.namenode.http-address.myCluster.nn1</name>
    <value>hbase1:50070</value>
  </property>
        <property>
    <name>dfs.namenode.http-address.myCluster.nn2</name>
    <value>hbase2:50070</value>
  </property>
        <!-- 指定namenode元数据存储在journalnode中的路劲 -->
        <property>
                <name>dfs.namenode.shared.edits.dir</name>
                <value>qjournal://hbase3:8485;hbase4:8485;hbase5:8485/myCluster</value>
        </property>

        <!-- 指定journalnode日志文件存储的路劲  -->
        <property>
                <name>dfs.journalnode.edits.dir</name>
                <value>/root/softs/hadoop-2.7.3/journallog</value>
        </property>
        <!-- 指定HDFS客户端连接active namenode的java类 -->
  <property>
    <name>dfs.client.failover.proxy.provider.myCluster</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  </property>
        <!-- 配置隔离机制为ssh -->
  <property>
    <name>dfs.ha.fencing.methods</name>
    <value>sshfence</value>
  </property>
        <!-- 指定秘钥的位置 -->
  <property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/root/.ssh/id_rsa</value>
  </property>
        <!-- 开启自动故障转移 -->
  <property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
  </property>
</configuration>

mapred-site.xml

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>mapreduce.map.memory.mb</name>
                <value>1536</value>
        </property>
        <property>
        <name>mapreduce.map.java.opts</name>
    <value>-Xmx1024M</value>
        </property>
        <property>
                <name>mapreduce.reduce.memory.mb</name>
        <value>3072</value>
  </property>
        <property>
    <name>mapreduce.reduce.java.opts</name>
        <value>-Xmx2560M</value>
  </property>
        <property>
    <name>mapreduce.task.io.sort.mb</name>
    <value>512</value>
        </property>
        <property>
    <name>mapreduce.task.io.sort.factor</name>
    <value>100</value>
  </property>
        <property>
    <name>mapreduce.reduce.shuffle.parallelcopies</name>
    <value>50</value>
        </property>
        <property>
    <name>mapreduce.jobhistory.address</name>
    <value>hbase1:10020</value>
        </property>
        <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hbase1:19888</value>
  </property>
        <!-- 开启uber模式（针对小作业的优化） -->
  <property>
    <name>mapreduce.job.ubertask.enable</name>
    <value>true</value>
  </property>
        <!-- 配置启动uber模式的最大map数 -->
  <property>
    <name>mapreduce.job.ubertask.maxmaps</name>
    <value>9</value>
  </property>
        <!-- 配置启动uber模式的最大reduce数 -->
  <property>
    <name>mapreduce.job.ubertask.maxreduces</name>
    <value>1</value>
  </property>
</configuration>

yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
        <property>
    <name>yarn.resourcemanager.ha.enabled</name>
    <value>true</value>
  </property>
        <!-- 启用自动故障转移 -->
  <property>
    <name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
    <value>true</value>
  </property>
        <!-- 指定YARN HA的名称 -->
  <property>
    <name>yarn.resourcemanager.cluster-id</name>
    <value>yarncluster</value>
  </property>
        <!-- 指定两个resourcemanager的名称 -->
  <property>
    <name>yarn.resourcemanager.ha.rm-ids</name>
    <value>rm1,rm2</value>
  </property>
        <!-- 配置rm1，rm2的主机 -->
  <property>
    <name>yarn.resourcemanager.hostname.rm1</name>
    <value>hbase1</value>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname.rm2</name>
    <value>hbase2</value>
  </property>
        <!-- 配置YARN的http端口 -->
  <property>
    <name>yarn.resourcemanager.webapp.address.rm1</name>
    <value>hbase1:8088</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.address.rm2</name>
    <value>hbase2:8088</value>
  </property>
        <!-- 配置zookeeper的地址 -->
  <property>
    <name>yarn.resourcemanager.zk-address</name>
    <value>hbase3:2181,hbase4:2181,hbase5:2181</value>
  </property>
        <!-- 配置zookeeper的存储位置 -->
        <property>
                <name>yarn.resourcemanager.zk-state-store.parent-path</name>
                <value>/rmstore</value>
        </property>
        <!-- 开启yarn resourcemanager restart -->
        <property>
                <name>yarn.resourcemanager.recovery.enabled</name>
                <value>true</value>
        </property>
         <!-- 配置resourcemanager的状态存储到zookeeper中 -->
  <property>
    <name>yarn.resourcemanager.store.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
  </property>
         <!-- 开启yarn nodemanager restart -->
  <property>
    <name>yarn.nodemanager.recovery.enabled</name>
    <value>true</value>
  </property>
         <!-- 配置nodemanager IPC的通信端口 -->
  <property>
    <name>yarn.nodemanager.address</name>
    <value>0.0.0.0:45454</value>
  </property>
        <!-- 配置Web Application Proxy安全代理（防止yarn被攻击） -->
  <property>
    <name>yarn.web-proxy.address</name>
    <value>hbase2:8888</value>
  </property>
        <!-- 开启日志 -->
  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
  </property>
        <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
        </property>
</configuration>

slaves

hbase3
hbase4
hbase5

d.集群初始化

　　// 启动zookeeper

　　// 格式化zkfc

　　// 启动journalnode

　　// 格式化hfds

　　// 将元数据目录拷贝到stangby节点

　　// 关闭journalnode

e.启动集群

《参考：https://blog.csdn.net/carl810224/article/details/52160418》

转载于:https://www.cnblogs.com/cqdxwjd/p/9939999.html

YDK1912
关注
Hadoop2.0到Hadoop3.0简述
weixin_43576422的博客
08-17 2265
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），其中一个组件是HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS
搭建 hadoop2 自动切换HA 集群
weixin_33829657的博客
05-31 110
hadoop2 比 hadoop1的一些新的功能：其中HA解决了hadoop1的单点故障问题1) 各节点：namenode：master slave3datanode：slave1 slave2slave3journalnode：master slave1 slave3zookeeper:master slave1 slave32)hadoop2 搭建在...
大数据学习-Hadoop生态章---(二) HA高可用
fg19941101的博客
01-13 215
大数据学习-Hadoop生态章 (二) HA高可用 2.1. Hadoop 2.0产生背景 Hadoop 1.0中HDFS和MapReduce在高可用、扩展性等方面存在问题。 HDFS存在的问题（如下图）： NameNode单点故障，难以应用于在线场景 NameNode压力过大，且内存受限，影响系统扩展性 MapReduce存在的问题 JobTracker访问压力大，影响系统扩展...
Hadoop 2.0生态圈技术简介
qq_38903177的博客
10-21 466
Hadoop 2.0生态圈
Hadoop1.0与Hadoop2.0的区别
web13524385009的博客
08-16 3608
这几天面试时有人问到过，这里我就简单整理下。
Hadoop2.0的HA介绍
红豆和绿豆的博客
01-19 526
1 概述  在hadoop2.0之前，namenode只有一个，存在单点问题（虽然hadoop1.0有secondarynamenode，checkpointnode，buckcupnode这些，但是单点问题依然存在），在hadoop2.0引入了HA机制。hadoop2.0的HA机制官方介绍了有2种方式，一种是NFS（Network File System）方式，另外一种是QJM（Quoru
hadoop1.0 和 Hadoop 2.0 的区别
superviser3000的博客
07-27 3134
1.Hadoop概述 在Google三篇大数据论文发表之后，Cloudera公司在这几篇论文的基础上，开发出了现在的Hadoop。但Hadoop开发出来也并非一帆风顺的，Hadoop1.0版本有诸多局限。在后续的不断实践之中，Hadoop2.0横空出世，而后Hadoop2.0逐渐成为大数据中的主流。那么Hadoop1.0究竟存在哪些缺陷，在它升级到Hadoop2.0的时候又做出了怎样的调整，最终使得Hadoop2.0成为大数据的基石呢？ 2.Hadoop1.0 首先我们来看hadoop1.0的整体结构
hadoop 1.0 && hadoop 2.0对比
P_king的博客
03-18 1356
hadoop 1.0 && hadoop 2.0对比 hdfs 1.0 NameNode管理着整个文件系统，负责接收用户的操作请求 NameNode管理着整个文件系统的目录结构，所谓目录结构类似于我们Windows操作系统的体系结构 NameNode管理着整个文件系统的元数据信息，所谓元数据信息指定是除了数据本身之外涉及到文件自身的相关信息 NameNode保管着文件与block块序列之间的对应关系以及block块与DataNode节点之间的对应关系 在hadoop..
hadoop 2.0
qq_37863962的博客
06-01 389
hadoop 2.0
Hadoop2.0 HA的checkpoint过程
Amber_amber的专栏
07-22 7328
hdfs将文件系统的元数据信息存放在fsimage和一系列的edits文件中。在启动HDFS集群时，系统会先加载fsimage，然后逐个执行所有Edits文件中的每一条操作，来获取完整的文件系统元数据。 Edits & fsimage文件 HDFS的存储元数据是由fsimage和edits文件组成。fsimage存放上次checkpoint生成的文件系统元数据，Edits存放文件系统操
简述Hadoop2.0相对于Hadoop1.0的改进与提升
05-11
Hadoop 2.0相对于Hadoop 1.0来说，改进和提升了很多方面，主要包括以下几点： 1. 改进了YARN（Yet Another Resource Negotiator）框架，将资源管理和任务调度分离，使得Hadoop可以运行更多类型的应用程序，而不仅仅...
Hadoop的HA实现
我给媳妇儿讲java
03-02 8271
如果NameNode宕机了，就会导致整个Hadoop集群无法正常工作。 为了确保高可用，我们需要实现Hadoop的HA。 关键点在于：当一台NameNode宕机之后，如何做到无缝切换到另一台NameNode。 为了解决这个问题，我们首先需要讨论以下几个问题 能否让两台NN都正常响应客户的请求？ 显然时不行的，如果两台机器都接收请求，将会导致处理逻辑混乱。 standby状态的节点
flink增量检查点启动恢复的时间是很久的，业务上不能接受，怎么处理
goTsHgo的博客
09-11 942
针对增量检查点恢复时间长的问题，可以从多个方面进行优化，包括合并检查点、提升存储性能、优化 RocksDB 配置、并行化恢复过程等。同时，也可以考虑替代方案，如多活架构、预热恢复、降低状态依赖和改进状态管理策略。此外，在业务层面上，适当调整业务容忍度和提高用户透明度也是有效的应对措施。通过综合应用这些策略，可以有效地降低恢复时间并提高业务的连续性和可靠性。
Elasticsearch7.x 集群迁移文档
happy_king_zi的博客
09-11 1012
同时检查当前运行集群状态是否为green。如果出现异常，可以配置discovery.zen.ping.unicast.hosts: [“10.200.112.149”, “10.200.112.151”,“10.200.112.153”,“172.31.2.84”, “172.31.0.147”,“172.31.0.94”]，恢复当前关闭节点。操作顺序操作动作1。
【RabbitMQ】工作模式
weixin_73060900的博客
09-11 1059
对RabbitMQ工作模式的简单概述以及代码案例
消息中间件有哪些常见类型
最新发布
weixin_57763462的博客
09-15 433
需要注意的是，这些类型并不是严格互斥的，有些消息中间件可能支持多种消息传递模式或结合了多种类型的特点。在这种模型中，消息被发送到特定的队列中，消费者从队列中取出并处理消息。在发布/订阅模型中，消息被发布到特定的主题（Topic）上，所有订阅了该主题的消费者都可以接收到这个消息。消息代理是一种更通用的概念，它涵盖了上述的点对点和发布/订阅模型，以及可能的其他消息传递模式。消息代理作为消息的存储和转发中心，负责消息的路由、过滤、持久化等功能。这类消息系统使用日志结构来存储消息，提供了极高的吞吐量和可扩展性。
Hadoop2.0详尽安装与配置指南
本手册详细介绍了如何在Linux环境中安装和配置Hadoop2.0，以及后续的Hive、HBase和Mahout的安装部署。以下是关键知识点的概述： 1. **VMWareWorkstation10安装**：首先需要在Windows上安装虚拟化软件VMware ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值