- 博客(318)
- 资源 (6)
- 问答 (1)
- 收藏
- 关注
RSS订阅
原创 对比Flink作业提交的几种方式
1. Session Mode1.1 流程（1）session mode会预分配资源，根据指定资源实现创建一个flink集群常驻与Yarn中，并启动一个JobManager和若干TaskManager。（2）这时可以直接提交作业，节省了申请和分配资源的开销1.2 优缺点总结（1）该模式下所有job共享这些固定的资源，而且作业之间不能隔离，会出现资源竞争的情况。（2）当一个TM发生故障，那么所有在这个节点上的job都会失败。（3）当提交的作业越来越多时，JM的负载会越来越高。1
2022-01-02 11:12:07
1361
原创 Flink on Yarn/K8s原理剖析及实践
1. Flink整体架构概览如下为Flink的架构图，用户可以使用4种方式（DataStream、DataSet等）编写flink任务，这些任务逻辑会生成一个JobGraph。JobGraph由source、map()、keyBy()/window()和slink等算子组成。当JobGraph提交给Flink集群后，能够以4种模式运行（Local、Yarn等）2. Flink架构概览之--JobManagerJobManager的架构图如下所示，JobManager的主要功能有：
2020-11-19 18:59:07
783
2
原创 Flink checkpoint原理
1. checkpoint与state的关系state就是checkpoint所做的主要持久化备份的主要数据2. Flink中的statestate主要分为keyed state和operator state2.1 state分类2.1.1 keyed state2.1.2 operator state又称non-keyed state，与一个operator的实例绑定；常见的operator state是source state，例如记录当前source的offset。.
2020-11-06 21:40:07
1248
原创 hive -e 和 -f 通过beeline执行文件中的hive sql语句
1. 在服务器命令行中直接执行sql语句或者sql文件中的内容有时需要在命令行中直接执行hive sql语句，希望不进入hive模式执行，这时候就可以使用hive -e 或者 hive -f 来实现1. hive -e 和 hive -f2. beeline -f ，beeline使用beeline -u "jdbc:hive2://localhost:10000" -n yourname -p passwore -f hivescript.sqlbeeline使用方式请..
2020-11-03 18:25:32
10643
原创 Flink中的时间属性总结
1. 时间属性分类上图为2中时间属性的对比。Processing Time处理起来简单，而处理结果（或者说流处理应用的内部状态）是不确定的。而Event Time在Flink内部做了各种保障，无论重放数据多少次，都能得到一个相对确定的可重现的结果。2. 应用中如何选择时间属性遵循以下原则：当应用遇到某些问题时，要从上一个checkpoint或者savepoint进行重放时，是不是希望结果完全相同。（1）如果希望结果完全相同，则只能用Event Time。（2）如果可以接受不同，则
2020-11-01 18:41:29
764
原创 Kylin集群安装教程
目录1. 准备工作1.1 创建kylin用户1.2 创建kylin二级制文件存放目录1.3 上传kylin文件到服务器2. 开始安装kylin2.1为ukylin用户设置KYLIN_HOME的环境变量2.2 检查环境2.2.1 执行check-env.sh，检查结果如下：2.2.2 接下来我们设置一下这些可选的环境变量3. 启动kylin4. 创建Sample Cube5. 在kylin UI查看刚才创建的 learn_kylin project6..
2020-10-29 19:01:01
1073
原创 Flinkx运行流程图
1. FlinkX简介FlinkX 本质就是根据配置文件，创建一个Flink执行环境StreamExecutionEnvironment。添加source、sink，最后执行env.execute()创建Source:由Reader的readData方法创建InputFormat读取数据并转化为DataStream。创建Sink:由Writer的writeData方法创建的OutputFormat导出到Target 数据源。2. Flinkx Local Mode运行流程图下..
2020-10-17 17:30:39
963
原创 在Idea中搭建fabric-sdk-java的开发调试环境
目录# 1.环境准备# 2. 下载fabric-sdk-java源码# 3. 启动fabric测试网络# 4. 在idea中运行End2endIT测试类今天就先写一个标题啦，未完待续......
2020-04-28 21:52:57
1330
1
原创 hive自定义udtf函数
2、在initialize中做初始化工作，例如定义输出的数据格式。udtf，一个输入，对应多个输出，实现流程如下。3、在process中实现具体的逻辑。1、继承genericUDF。
2024-05-07 16:37:03
230
转载 Java SPI原理和应用案例
SPI在Java中的实现与应用 | 京东物流技术团队_服务_接口_定义Java SPI概念、实现原理、优缺点、应用场景、使用步骤、实战SPI案例-CSDN博客
2024-04-13 19:49:22
19
原创 红黑树-B B- B+树总结
红黑树，B- , B+树的理解红黑树，B-树，B+树比较_你觉得大规模数据索引b树快还是红黑树快-CSDN博客b树，b+树，b-树,红黑树详解一锅端
2024-04-05 19:48:15
518
原创 分布式锁的几种实现方式
详解 Redis 分布式锁的 5 种方案-腾讯云开发者社区-腾讯云面试官：了解分布式锁？说说ZooKeeper分布式锁的实现原理_为什么说zookeepr是天然的分布式锁-CSDN博客面试官：了解分布式锁？说说ZooKeeper分布式锁的实现原理_为什么说zookeepr是天然的分布式锁-CSDN博客
2024-04-02 21:56:05
369
原创 Flink参数设置和性能优化
4、分桶聚合-适用于去重聚合场景例如count(distinct userId)，将数据的key先打散到多个桶进行聚合，再对分桶中的数据最后聚合。去重计算的分桶聚合（例如groupby分钟去重，如果一个key数据500w，另一个key数据1w）导致数据倾斜，开启分桶聚合、分桶个数。0、状态访问性能差、大状态以及数据倾斜这3种场景提供的微批处理、去重场景BitMap复用、两阶段聚合以及去重计算的分桶聚合的优化原理。3、2阶段聚合（适合计数、累加的聚合场景）：热点数据倾斜，先聚合再传递给下游。
2024-04-02 08:37:57
573
原创 Flink中几个关键问题总结
硬核！八张图搞懂 Flink 端到端精准一次处理语义 Exactly-once（深入原理，建议收藏）Flink可靠性的基石-checkpoint机制详细解析硬核！一文学完Flink流计算常用算子（Flink算子大全）
2024-04-01 19:49:55
412
Hive中分组取topN_row_number-rank和dense_rank的使用.pdf
2021-04-07
如何通过对hive的操作，来删除elasticsearch中的文档数据
2017-02-15
TA创建的收藏夹 TA关注的收藏夹
TA关注的人