- 博客(2)
- 收藏
- 关注
转载 Flink学习
Flink概述按照Apache官方的介绍,Flink是添加链接描述一个对有界和无界数据流进行状态计算的分布式处理引擎和框架。通俗地讲,Flink就是一个流计算框架,主要用来处理流式数据。Flinken在德语里是敏捷的意思,意指快速精巧。其代码主要是由 Java 实现,部分代码由 Scala实现。Flink既可以处理有界的批量数据集,也可以处理无界的实时流数据,为批处理和流处理提供了统一编程模型。本地部署下载安装包,下载地址https://flink.apache.org/downloads.html
2022-02-13 01:39:53 1070 1
转载 spark参数调优
摘要 1.num-executors 2.executor-memory 3.executor-cores 4.driver-memory 5.spark.default.parallelism 6.spark.storage.memoryFraction 7.spark.shuffle.memoryFraction 8.total-executor-cores 9.资源参数参考示例内容1.num-executors参数说明:该参数用于设置Spark作业总共要用多少
2022-02-13 01:14:14 728
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人