luo981695830的博客

flink生产上使用

flink面试题

30分钟的连环flink面试拷问

flink常见面试题

flink核心思想

flink中状态变量使用演示

flink1.10中三种数据处理方式的连接器说明

flink集群搭建及测试

flink应用场景及架构

Arctic 是由网易开源的流式湖仓系统，Arctic 在 Iceberg 和 Hive 之上添加了更多实时场景的能力，并且面向 DataOps 提供流批统一，开箱即用的元数据服务，让数据湖更加好用和实用。

FlinkSQL来构建实时数仓，其思路大概如下：Flink的Table API提供了对kafka/jdbc/hbase等实时开发涉及到的组件的支持，以kafka为例，将kafka topic抽象成Flink Table，如下：FlinkSQL读数据建表语句CREATE TABLE flink_rtdw.demo.kafka_source_table ( topic STRING, bidWord STRING, planID STRING, eventTime INTEGER,...

hbase远程连接时空指针异常问题。相关的分析和测试，可以参看上一篇hbase远程连接——权限问题idea客户端远程远程连接hbase服务时，连接时，报空指针异常根据报错信息可知，出错的原因与zookeeper有关系，zookeeperWatcher检查者获nodes元数据信息有问题错误原因是：zookeeper中注册的hbase的节点名称发生变化，通常hbase的node名称是hbase，由于hbase发行版的不同，导致node名称发生变化，查看zookeeper中的节点名称，h.

在本地IDEA开发方便代码调试，测试通过后，才会打包上传服务器运行。hbase客户端连接hbase服务端读写时，会出现莫名的异常，有时会报错看日志可以解决问题，有时控制台没有日志本次遇到的问题是权限问题服务器部署了ranger，当然hbase中也可以设置权限，因为集群不是我搭建的，不确定是哪种原因导致的权限问题。下面说一下遇到的问题及思路和解决办法：异常的现象：1、idea控制台阻塞，不报错、不结束执行2、查看hbase日志，没有看到有用的信息思路：1、如果本地和服.

Flink运行时架构主要包括四个组件，它们在运行流处理应用程序时协同工作：1、作业管理器 JobManager2、资源管理器 ResourceManager3、任务管理器TaskManager4、分发器 DispatcherFlink基于Java和Scala实现的，所有组件都会运行在JVM上作业管理器任务提交流程：...

hive里面map join优化小表数据-> HashtableFiles-> Distributed Cache->遍历匹配离线Batch SQL Join三种方式Nested-loop Join 内嵌遍历的方式Sort-Merge Join 归并排序 要求是有序数据集Hash Join 将一个数据集转换为Hash Table，再进行遍历匹配实时Streamin...