![](https://img-blog.csdnimg.cn/20190918140145169.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
hadoop 实战
文章平均质量分 80
# hadoop 理论与实战
roman_日积跬步-终至千里
做三四月的事,在八九月自有答案。
展开
-
【HDFS联邦(2)】HDFS Router-based Federation官网解读:HDFSRouterFederation的架构、各组件基本原理
>本文主要参考官网:[HDFSRouterFederation](https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs-rbf/HDFSRouterFederation.html) 对HDFSRouterFederation进行了解读:>1. viewfs会带来的问题,HDFSRouterFederation是如何解决的>2. HDFSRouterFederation的架构、各组件基本原理说明原创 2023-12-27 12:48:11 · 1412 阅读 · 0 评论 -
【HDFS联邦(1)】ViewFs与联邦理论知识详解
HDFS ViewFs的(1)定义 与无联邦时的区别、(2)管理多集群的逻辑、(3)具体怎么使用ViewFs:比如跨集群任务、文件跨集群传输等。原创 2023-12-23 17:48:12 · 936 阅读 · 0 评论 -
【flinkx】【hdfs】【ing】Cannot obtain block length for LocatedBlock
Cannot obtain block length for LocatedBlock原创 2023-02-12 11:20:42 · 518 阅读 · 0 评论 -
【shuffle/内存模型】spark(七)超详细mareduce shuffle和spark Shuffle讲解、以及spark比mapreduce快在哪些方面
【shuffle/内存模型】超详细mareduce shuffle和spark Shuffle讲解、以及spark比mapreduce快在哪些方面原创 2022-09-30 23:06:36 · 1428 阅读 · 0 评论 -
【调优/排错】Hadoop:flink on yarn 模式下提示yarn资源不足:Running and Pending Application Limits
【调优/排错】Hadoop:flink on yarn 模式下提示yarn资源不足:Running and Pending Application Limits原创 2022-09-20 23:00:00 · 1235 阅读 · 0 评论 -
【备忘/shell】hadoop 常见shell 与相关进程操作命令 ing
本文介绍hdfs的相关操作shell,Hadoop格式化、启动、以及其他常见的进程操作命令,以便在操作hadoop时能够快速查看命令,起到备忘的作用。原创 2022-09-15 22:38:57 · 609 阅读 · 0 评论 -
【HDFS API】HDFS - API使用快速入门
【HDFS API】HDFS - API使用快速入门原创 2022-09-14 22:54:03 · 166 阅读 · 0 评论 -
【基础理论】hadoop基础(二):Yarn系统性介绍:Yarn的基础架构、工作机制、作业提交过程、调度器等
> Yarn实现了计算资源的调度能力,文章开始前可以先思考几个问题:> - Yarn是如何管理的集群资源> - 怎么提交作业到Yarn上> - Yarn如何给任务合理分配资源原创 2022-09-07 21:34:02 · 237 阅读 · 0 评论 -
【基础理论】hadoop基础(一):HDFS系统性介绍:HDFS组成架构、读写理论、机架感知、心跳策略等
> 本文对HDFS进行一个系统性的介绍,以便hdfs的理论知识一个整体性的了解,内容包括架构组成、读写理论,元数据同步、读写时机架感知策略,以及namenode与datanode成员之间的通讯逻辑等。> 之后在工作中遇到有关其他HDFS的问题再详细、针对性地讨论。原创 2022-09-06 22:42:41 · 1102 阅读 · 0 评论 -
【job排错】记一次flink on hadoop with per-job 报错排查
flink job突然提交不到yarn上,本文通过排查日志,查找一些hadoop内部通讯信息,来指导对hadoop内各daemon进程的一些检查和操作。原创 2022-07-04 20:41:04 · 2044 阅读 · 0 评论 -
【工具】hadoop国内下载镜像
hadoop国内下载镜像。原创 2022-08-30 13:43:06 · 919 阅读 · 0 评论