sf_www-CSDN博客

在实际的hadoop环境中，有时我们需要新增或者删除datanode节点，来达到扩容或缩容的目的，本文就来讲解如何新增和删除datanode。所以该配置一般不配，一般只会使用exclude，不然反而麻烦，配了后新增节点都得去修改添加该配置dfs.hosts和dfs.hosts.exclude分别指向一个文件（注意是绝对路径）。下面的节点地址我们统一使用机器主机名，所以就得要机器配置了/etc/hosts的主机名和IP的映射关系。

2024-11-13 17:40:29 452

原创 Flink 开发工程应加载哪些依赖

讲解flink打包时依赖相关配置

2024-11-13 15:56:52 809

原创 Flink on YARN是如何确定TaskManager个数的

flink on yarn如何确定taskmanager个数

2024-11-08 10:07:29 932

原创程序员最有价值的18条建议

Keep It Simple, Stupid. 是指在设计当中应当注重简约的原则。保持简单（避免复杂）永远是你应该做的第一件事，简单的代码不仅写起来简单、不容易出Bug，还易于维护，让人使用和理解都是顺其自然、轻轻松松，而不是让人费劲心思的去消化。总结工程专业人员在设计过程中的经验，大多数系统的设计应保持简洁和单纯，而不掺入非必要的复杂性，这样的系统运作成效会取得最优，而且不会出意外问题。因此简单性应该是设计中的关键目标，尽量回避免不必要的复杂性。

2024-11-06 16:13:39 1042

原创 flink 内存配置（五）：网络缓存调优

通过启用缓冲区去膨胀机制，可以简化Flink中网络的内存配置调优。您可能需要对其进行调优。如果这不起作用，你可以禁用缓冲区去膨胀机制，并手动配置内存段大小和缓冲区数量。使用最大吞吐量的默认值减小内存段大小和/或减少独占缓冲区数量，以加快检查点操作速度并降低网络堆栈的内存消耗。

2024-11-06 13:52:23 1252

原创 flink 内存配置（四）：内存调优和问题处理

本节解释如何根据用例设置内存，以及每种用例中哪些选项是重要的。

2024-11-05 10:33:08 1334

原创 flink 内存配置（三）：设置JobManager内存

JobManager是Flink集群的控制元素。Flink由3部分组成：资源管理器（Resource Manager）、调度器（Dispatcher）和每个运行的Flink作业对应的JobMaster。注意下面的讲解适用于JobManager 1.11之后的版本。

2024-11-05 08:31:54 1764

原创 flink 内存配置（二）：设置TaskManager内存

TaskManager在Flink中运行用户代码。根据需要配置内存使用，可以极大地减少Flink的资源占用，提高作业的稳定性。注意下面的讲解适用于TaskManager 1.10之后的版本。与JobManager进程的内存模型相比，TaskManager内存组件具有类似但更复杂的结构。

2024-11-04 14:59:10 1859

原创 flink 内存配置（一）：设置Flink进程内存

Apache Flink通过严格控制各个组件的内存使用，在JVM之上提供了高效的工作负载。虽然Flink社区努力为所有配置提供合理的默认值，但由于用户部署在Flink上的应用范围很广，这并不总是可行的。为了给用户提供最大的生产价值，Flink支持对集群内的内存分配进行高层和细粒度的调优。下面进一步描述的内存配置适用于1.10版本之后的TaskManager进程和1.11版本之后的JobManager进程。

2024-11-04 08:57:30 1221