Hadoop HA搭建，附学习笔记+面试整理+进阶书籍

最新推荐文章于 2024-06-22 19:02:56 发布
最新推荐文章于 2024-06-22 19:02:56 发布
阅读量288 收藏 7
点赞数 5
分类专栏： 2024年程序员学习 文章标签： hadoop 学习 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_79055101/article/details/137847353
版权

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
img
img
img
img
img

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）
img

正文


   
       ha.zookeeper.quorum
       zzy01:2181,zzy02:2181,zzy03:2181
   
   
   
       ha.zookeeper.session-timeout.ms
       30000
       ms
   
   
   
       fs.trash.interval
       1440
   



###### 3、 配置hdfs-site.xml （zzy01,zzy02,zzy03）

vim /opt/hadoop/server/hadoop-3.2.4/etc/hadoop/hdfs-site.xml


* 添加如下配置：
               dfs.qjournal.start-segment.timeout.ms        60000                    dfs.nameservices        mycluster                    dfs.ha.namenodes.mycluster        zzy01,zzy02                    dfs.namenode.rpc-address.mycluster.zzy01        zzy01:8020                    dfs.namenode.rpc-address.mycluster.zzy02        zzy02:8020                    dfs.namenode.http-address.mycluster.zzy01        zzy01:9870                    dfs.namenode.http-address.mycluster.zzy02        zzy02:9870                    dfs.namenode.shared.edits.dir        qjournal://zzy01:8485;zzy02:8485;zzy03:8485/mycluster                    dfs.client.failover.proxy.provider.mycluster        org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider                    dfs.ha.fencing.methods                   sshfence           shell(/bin/true)                        dfs.permissions.enabled        false                dfs.support.append        true                    dfs.ha.fencing.ssh.private-key-files        /root/.ssh/id_rsa                        dfs.namenode.name.dir        /opt/hadoop/data/tmp/name                dfs.datanode.data.dir        /opt/hadoop/data/tmp/data                    dfs.journalnode.edits.dir        /opt/hadoop/data/tmp/journal                    dfs.ha.automatic-failover.enabled        true                    dfs.webhdfs.enabled        true                    dfs.ha.fencing.ssh.connect-timeout        30000                ha.failover-controller.cli-check.rpc-timeout.ms        60000     ```
4、 配置mapred-site.xml

不需要变更

5、 配置yarn-site.xml （zzy01,zzy02,zzy03）
vim /opt/hadoop/server/hadoop-3.2.4/etc/hadoop/yarn-site.xml
  • 添加如下配置：
<configuration>
    <!-- Site specific YARN configuration properties -->
    <!-- 开启 RM 高可用 -->
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
    <!-- 指定 RM 的 cluster id -->
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>yrc</value>
    </property>
    <!-- 指定 RM 的名字 -->
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>
    <!-- 分别指定 RM 的地址 -->
    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>zzy01</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>zzy02</value>
    </property>
    <!--在namenode1上配置rm1,在namenode2上配置rm2,注意：一般都喜欢把配置好的文件远程复制到其它机器上，但这个在YARN的另一个机器上一定要修改 -->
    <property>
        <name>yarn.resourcemanager.ha.id</name>
        <value>rm1</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address.rm1</name>
        <value>zzy01:8088</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address.rm1</name>
        <value>zzy01:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address.rm1</name>
        <value>zzy01:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address.rm1</name>
        <value>zzy01:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address.rm2</name>
        <value>zzy02:8088</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address.rm2</name>
        <value>zzy02:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address.rm2</name>
        <value>zzy02:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address.rm2</name>
        <value>zzy02:8031</value>
    </property>
    <!-- 指定 zk 集群地址 -->
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>zzy01:2181,zzy02:2181,zzy03:2181</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>
    <!-- 启用自动恢复 -->
    <property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
    </property>
    <!-- 制定 resourcemanager 的状态信息存储在 zookeeper 集群上 -->
    <property>
        <name>yarn.resourcemanager.store.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
    </property>
    <!-- 白名单
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN
_HOME,HADOOP_MAPRED_HOME</value>
    </property>  -->
    <property>
        <name>yarn.log.server.url</name>
        <value>http://zzy01:19888/jobhistory/logs</value>
    </property>
    <property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
    </property>
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>
    <property>
        <name>yarn.application.classpath</name>
        <value>/opt/hadoop/server/hadoop-3.2.4/etc/hadoop:/opt/hadoop/server/hadoop-3.2.4/share/hadoop/common/lib/*:/opt/hadoop/server/hadoop-3.2.4/share/hadoop/common/*:/opt/hadoop/server/hadoop-3.2.4/share/hadoop/hdfs:/opt/hadoop/server/hadoop-3.2.4/share/hadoop/hdfs/lib/*:/opt/hadoop/server/hadoop-3.2.4/share/hadoop/hdfs/*:/opt/hadoop/server/hadoop-3.2.4/share/hadoop/mapreduce/lib/*:/opt/hadoop/server/hadoop-3.2.4/share/hadoop/mapreduce/*:/opt/hadoop/server/hadoop-3.2.4/share/hadoop/yarn:/opt/hadoop/server/hadoop-3.2.4/share/hadoop/yarn/lib/*:/opt/hadoop/server/hadoop-3.2.4/share/hadoop/yarn/*</value>
    </property>
    <property>
        <name>yarn.scheduler.maximum-allocation-vcores</name>
        <value>6</value>
    </property>
    <property>
        <name>yarn.scheduler.capacity.maximum-am-resource-percent</name>
        <value>0.6</value>
    </property>
</configuration>
6、 创建tmp , logs, tmp/下创建name,data,journal目录 （zzy01,zzy02,zzy03）
mkdir /opt/hadoop/data/tmp/name
mkdir /opt/hadoop/data/tmp/data
mkdir /opt/hadoop/data/tmp/journal
三、启动集群(HA)
1、启动zookeeper集群并查看状态 （zzy01,zzy02,zzy03）
# 进入到每个DN节点，启动ZK服务
/opt/zookeeper-3.9.1/bin/zkServer.sh start
# 查看ZK状态
/opt/zookeeper-3.9.1/bin/zkServer.sh status
# 本次我们配置了三个DN节点，会出现一个leader和两个follower。输入jps，会显示启动进程：QuorumPeerMain
2、启动全部机器的 journalnode 服务 （zzy01,zzy02,zzy03）

进入/opt/hadoop/server/hadoop-3.2.4/安装目录下

[root@zzy01 bin]# cd /opt/hadoop/server/hadoop-3.2.4
[root@zzy01 hadoop-3.2.4]# ./sbin/hadoop-daemon.sh start journalnode
starting journalnode, logging to /opt/hadoop/server/hadoop-3.2.4/logs/hadoop-root-journalnode-zzy01.out
​
[root@zzy02 zookeeper]# cd /opt/hadoop/server/hadoop-3.2.4/
[root@zzy02 hadoop-3.2.4]# ./sbin/hadoop-daemon.sh start journalnode
starting journalnode, logging to /opt/hadoop/server/hadoop-3.2.4/logs/hadoop-root-journalnode-zzy02.out
​
[root@zzy03 zookeeper]# cd /opt/hadoop/server/hadoop-3.2.4/
[root@zzy03 hadoop-3.2.4]# ./sbin/hadoop-daemon.sh start journalnode
starting journalnode, logging to /opt/hadoop/server/hadoop-3.2.4/logs/hadoop-root-journalnode-zzy03.out
​


**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）**
![img](https://img-blog.csdnimg.cn/img_convert/0c7a05202c4a4be98bf0994a853b7b25.png)

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

nalnode, logging to /opt/hadoop/server/hadoop-3.2.4/logs/hadoop-root-journalnode-zzy03.out
​


**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）**
[外链图片转存中...(img-SPa1cFA6-1713288570475)]

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
2301_79055101
关注
  • 5
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
java读取csv文件某一列，附学习笔记+面试整理+进阶书籍
m0_57286571的博客
05-20 479
前言 二面大概50分钟，问的东西很全面，需要做充足准备，就是除了概念以外问的有点懵逼了（呜呜呜）。回来之后把这些题目做了一个分类并整理出答案（强迫症的我狂补知识~）分为spring，jvm，并发编程等，接下来分享一下我的这蚂蚁金服面试的面经+一些我的学习笔记。 为了更好的梳理相关知识，咱们先看纯手绘知识体系图 1.1 Kafka知识体系大纲 由于我手绘这些知识体系大纲是用的xmind软件，无法上传，所以都以截图的形式展示，细节处不清楚（毕竟图片形式有限） 1.2 RabbitMQ知识体系大纲 1.
java学习资料整理(开发必备)
热门推荐
m0_67537062的博客
03-30 1万+
收集的java学习资料整理了下，里面包含了计算机基础、算法和数据结构、常用工具、java核心知识、性能优化、基础框架、数据库、消息队列、缓存中间件、搜索引擎、大数据、RPC、网关、容器、面试等知识
字节跳动学习笔记：分布式宝典：限流+缓存+通讯，已开源下载
m0_56710876的博客
04-24 259
前言 很多Java程序员一直希望找到一份完整的学习路径，但是市面上很多书都是专注某一个领域的，没有一份完整的大图，以至于很多程序员很迷茫，不知道自己到底应该从哪里开始学，或者不知道自己学习些什么。 好在，很早之前就有一位阿里巴巴的技术专家总结了一份**《Java工程师成神之路》**，作者按照自己的经验总结了从基础，到高级、底层、架构、进阶、扩展等6个大的章节。几乎囊括了Java体系内的所有知识点。 这份资料之前开源在GitHub上，短短几个月时间，收获了15k+的Star数，最近，笔者了解到，该项目有了重大
java架构师进阶之路
henhenha的博客
03-30 3277
包含了计算机基础、算法和数据结构、常用工具、java核心知识、性能优化、基础框架、数据库、消息队列、缓存中间件、搜索引擎、大数据、RPC、网关、容器、面试等知识
2024最全大数据学习路线（建议收藏）,少走弯路
web13618542420的博客
10-07 393
本文针对非科班生转行大数据所遇到的问题，提出一些切实的建议，以免小伙伴在学习过程中走弯路。我依据自己转行所走过的一些弯路，总结了我自己大数据学习的详细路线，推荐一些我看过的大数据课程以及技术书籍，帮助各位小伙伴做一个资源筛选。我能够理解每一位即将转行和正在转行的小伙伴，你们可能焦虑自己是否能够学好这么多的大数据知识，也可能正在担心35岁后的自己该怎么办？曾经的我，也曾陷入同样的焦虑和迷茫情绪。这些情绪完全是由于自己在学习过程中，你所期望的高度和自己目前所处的高度的落差所导致的，都是正常的情绪。
五万字15张导图Java自学路线，小白零基础入门，程序员进阶，收藏这篇就够了_小白到计算机程序员学习详细图
2301_78399639的博客
04-19 1018
spring 提供 ioc 技术，容器会帮你管理依赖的对象，从而不需要自己创建和管理依赖对象了，更轻松的实现了程序的解耦。spring 提供了事务支持，使得事务操作变的更加方便。spring 提供了面向切片编程，这样可以更方便的处理某一类的问题。更方便的框架集成，spring 可以很方便的集成其他框架，比如 MyBatis、hibernate 等。aop 是面向切面编程，通过预编译方式和运行期动态代理实现程序功能的统一维护的一种技术。
峰哥读者的大数据学习路线，附学习资料
a934079371的博客
05-25 1104
个人简介：非科班双一流硕士，CAE仿真方向转行大数据，现杭州某大厂大数据工程师！前言 本文针对非科班生转行大数据所遇到的问题，提出一些切实的建议，以免小伙伴在学习过程中走弯路。我依据自己转...
中高级Java面试题目汇总解答：mysql主从同步
m0_57472099的博客
07-13 128
为了更好的梳理相关知识，咱们先看纯手绘知识体系图 1.1 Kafka知识体系大纲 由于我手绘这些知识体系大纲是用的xmind软件，无法上传，所以都以截图的形式展示，细节处不清楚（毕竟图片形式有限） 1.2 RabbitMQ知识体系大纲 1.3 RocketMQ知识体系大纲 看完知识大纲，该刷面试了 2.1 刷刷Kafka面试 Kafka的用途有哪些？使用场景如何？ Kafka中的ISR、AR又代表什么？ISR的伸缩又指什么 Kafka中的HW、LEO、LSO、LW等分别代表什么？ Kafka中
2024最全大数据学习路线（建议收藏）_大数据先学数学还是先学编程
2401_84182842的博客
05-03 785
本文针对非科班生转行大数据所遇到的问题，提出一些切实的建议，以免小伙伴在学习过程中走弯路。我依据自己转行所走过的一些弯路，总结了我自己大数据学习的详细路线，推荐一些我看过的大数据课程以及技术书籍，帮助各位小伙伴做一个资源筛选。我能够理解每一位即将转行和正在转行的小伙伴，你们可能焦虑自己是否能够学好这么多的大数据知识，也可能正在担心35岁后的自己该怎么办？曾经的我，也曾陷入同样的焦虑和迷茫情绪。这些情绪完全是由于自己在学习过程中，你所期望的高度和自己目前所处的高度的落差所导致的，都是正常的情绪。
hadoop3.1.3集群搭建(ha+yarn)
01-07
当前环境： centos6.5,jdk8 准备工作： 1.服务器之间免密登录 $ ssh-keygen -t dsa -...搭建步骤： 1.下载apache hadoop3.1.3并上传至服务器解压 https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.1.3/ha
Hadoop HA 搭建（附问题解决方法）
10-20
资源中具体对Hadoop HA平台搭建过程中出现的问题给出了相应的解决办法，图文结合，适合新手学习来用，如果遇到其他，欢迎交流学习
HA-Hadoop集群搭建教程(图文+视频)1
08-04
1. 启动3个Zookeeper 2. 启动3个JournalNode 3. 格式化NameNode 4. 复制hadoop01上的NameNode的元数据到h
hadoop学习笔记+code
03-21
个人学习笔记，勿喷
手把手教你搭建分布式Hadoop集群视频教程（视频+讲义+笔记+软件+配置）
05-15
手把手教你搭建分布式Hadoop家族集群视频教程（视频+讲义+笔记+配置），内容包括 Hadoop，SQOOP，Hive,Hbase的安装配置及集群搭建。内容包括但不限于： 01_回顾集群架构及配置集群时间同步 02_配置主节点与从节点...
Hadoop+Spark大数据技术（自命题试卷测试）
qq_64684039的博客
06-18 1536
1. Hadoop 核心组件包括：A. HDFS 和 HiveB. HDFS 和 MapReduceC. HBase 和 SparkD. YARN 和 ZooKeeper2. HDFS 数据块存储方式的优势不包括：A. 文件大小不受单一磁盘大小限制B. 简化存储过程C. 提高数据访问速度D. 提高数据容错能力3. NameNode 的主要功能是：A. 存储数据块B. 处理数据读写请求C. 管理文件系统命名空间和元数据D. 备份 NameNode 的元数据。
Redis源码学习：ziplist的数据结构和连锁更新问题
最新发布
专注于分享个人学习工作沉淀内容，不做网络搬运工
06-22 490
虽然ziplist对头尾的操作可以很快，但是，当要查找列表中间的元素时，ziplist 就得从列表头或列表尾遍历才行。由于ziplist 必须使用一块连续的内存空间来保存数据，所以当新插入一个元素时，ziplist 就需要计算其所需的空间大小，并申请相应的内存空间，假设有N个小于255字节的Entry，每一个Entry的。ziplist 是 Redis 中一种紧凑型的列表结构，专门用来存储元素数量少且每个元素较小的数据。都可以用1个字节存储，现在要在中间插入新的Entry，长度大于254，此时。
llama系列模型学习
weixin_40777649的博客
06-21 1038
而使用强化学习方法，则可以通过定制奖励函数，将正确答案赋予非常高的分数，将放弃回答的答案赋予中低分数，将不正确的答案赋予非常高的负分，使得模型学会依赖内部知识选择放弃回答，从而在一定程度上缓解模型的幻觉问题。与Llama 1 一样，将所有数字拆分为单独的数字，并使用字节来分解未知的 UTF-8 字符。这主要原因是用于训练语言模型的大数据语料库在收集时难免会包含一些错误的信息，这些错误知识都会被学习，存储在模型参数中，相关研究表明模型生成文本时会优先考虑自身参数化的知识，所以更倾向生成幻觉内容。
线代的学习（矩阵）
2301_80454352的博客
06-18 563
需要注意：1.矩阵的乘法2.矩阵的乘法。
hadoopHA搭建
10-01
hadoopHA搭建分为三个步骤。首先，需要在`hadoop-2.6.0-cdh5.14.0/etc/hadoop`目录下修改`hdfs-site.xml`文件，将`fs.defaultFS`的值设置为`hdfs://cluster1`，将`hadoop.tmp.dir`的值设置为`/export/servers/hadoop...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值