chanyue123的博客

讲解使用flink table api读写kafka 以及相关配置

讲解flink的类加载的分类、顺序以及如何解决冲突等

遇到could not be determined automatically, due to type erasure的原因分析和解决办法

讲解flink重分区的方式

讲解如何合理设置并行度

讲解读取kafka数据却无法触发下游窗口计算的原因分析以及解决办法 窗口触发的过程等

讲解flink读写kafka的使用，相关的重要配置说明，以及并行度的合理设置，并行度对watermark的影响等

实现flink 数据源 source

讲解如何在flink的流和批处理模式之间做出选择

讲解使用 Flink DataStream API 开发的大体流程

讲解hive的分区各种插入情况

Flink的日志配置详解

讲解 flink的历史服务器 如何查看历史作业信息

讲解hive 存储在mysql中的元数据表

flink程序实现高可用配置

本文讲解flink在细粒度的资源管理，默认是粗粒度的资源管理（coarse-grained resource management）

本文讲解 flink checkpoint页面的详细信息

本文讲解 编写的flink应用程序在生产环境上线前应该做哪些检查

讲解如何升级flink程序和flink框架版本

在实际的hadoop环境中，有时我们需要新增或者删除datanode节点，来达到扩容或缩容的目的，本文就来讲解如何新增和删除datanode。所以该配置一般不配，一般只会使用exclude，不然反而麻烦，配了后新增节点都得去修改添加该配置dfs.hosts和dfs.hosts.exclude分别指向一个文件（注意是绝对路径）。下面的节点地址我们统一使用机器主机名，所以就得要机器配置了/etc/hosts的主机名和IP的映射关系。