Spark、Flink 、Big Data、Java实用文章

置顶 于 2019-12-12 10:27:38 发布
阅读量192 收藏 1
点赞数
分类专栏： # Flink # Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/s294878304/article/details/103504426
版权
Flink 同时被 2 个专栏收录
25 篇文章 0 订阅
订阅专栏
Spark
21 篇文章 1 订阅
订阅专栏

目录

 

一、Spark

一、Spark

Apache Spark在海致大数据平台中的优化实践

Spark/Flink广播实现作业配置动态更新

Spark面对OOM问题的解决方法及优化总结

Spark 动态资源分配(Dynamic Resource Allocation) 解析

基于SparkStreaming+Kafka+HBase实时点击流案例

HyperLogLog函数在Spark中的高级应用

Spark源码阅读的正确打开方式

Spark on Hive & Hive on Spark，傻傻分不清楚

Spark常见错误问题汇总

Spark 3.0 新特性

简析Spark Streaming/Flink的Kafka动态感知

SparkSQL 整体运行架构和底层实现

 

基于Flink快速开发实时TopN

Flink面试通关手册

Flink SQL Window源码全解析

Flink1.10和Hive集成一些需要注意的点

Flink专题

深入理解Flink ---- 系统内部消息传递的exactly once语义

深入理解Flink ---- End-to-End Exactly-Once语义

深入理解Flink ---- Metrics的内部结构

Flink State状态以及Checkpoint机制（一）

淘宝双十一实时显示成交数据是怎么实现的？

基于Apache Flink的爱奇艺实时计算平台建设实践

实时数仓|基于Flink1.11的SQL构建实时数仓探索实践

三、Hbase

设计HBase RowKey需要注意的二三事

四、大数据

我们常说的海量小文件的根源是什么？

Data Lake 三剑客—Delta、Hudi、Iceberg 对比分析

实战 | 利用Delta Lake使Spark SQL支持跨表CRUD操作

 

五、数据仓库

数据仓库 作者:mark_wu2000

一文读懂数据仓库、数据集市、数据库的区别与关联

漫谈数据仓库之维度建模

企业不做中台会死吗？

滴滴ElasticSearch千万级TPS写入性能翻倍技术剖析

六、Java

如果你在代码中用了YYYY-MM-DD那么要注意了！

七、Kafka

一口气说出Kafka为啥这么快?

Kafka的分区数是不是越多越好？

Kafka面试题系列(进阶篇)

Kafka面试题系列(进阶篇2)

 

 

 

 

 

 

 

 

嘻哈吼嘿呵
关注
专栏目录
剑指大数据——Flink学习精要_java版
04-21
"Flink学习精要_java版" Flink 是一个由 Apache 软件基金会旗下的开源大数据处理框架，当前已经成为各大公司大数据实时处理的发力重点。Flink 起源于一个叫作 Stratosphere 的项目，由柏林理工大学的教授沃克尔·...
大数据笔记，包含Hadoop、Spark、Flink、Hive、Kafka、Flume、ZK......
05-08
大数据笔记，包含Hadoop、Spark、Flink、Hive、Kafka、Flume、ZK...... 大数据笔记，包含Hadoop、Spark、Flink、Hive、Kafka、Flume、ZK...... 大数据笔记，包含Hadoop、Spark、Flink、Hive、Kafka、Flume、ZK.......
《剑指大数据——Flink学习精要（Java版）》（最终修订版）.pdf
03-25
Flink也能够与其他大数据处理框架如Spark进行比较，了解Flink的优势和劣势。 Flink的社区非常活跃，有超过800个贡献者，并且Flink已经发展成为最复杂的开源流处理引擎之一。Flink的官网主页地址为...
2020.03版本idea ,big data tools 插件
08-08
总的来说，"2020.03版本IDEA"的"Big Data Tools"插件是为Java开发者提供的一站式大数据解决方案，它集成了大数据项目的创建、开发、测试和部署，使得大数据开发变得更加便捷和高效。如果你是从事大数据相关工作的...
华为认证大数据系列教程-HCIA-Big Data学习指导
最新发布
09-15
本指导用书重点介绍了大数据基础知识，包括 HDFS、Hive、HBase、ClickHouse、 MapReduce、Spark、Flink、Flume、Kafka 等组件，华为大数据平台 MRS 的使用方法，以及华为 MRS 服务的操作和开发等内容。
Spark基本架构及消息通信原理
嘻哈吼嘿呵的博客
08-06 735
参考《图解Spark：核心技术与案例实战》 Spark 2.0版本 一、Spark基本架构 Application：Spark应用程序 Driver：Spark中的Driver即运行Application的main函数并且创建SparkContext，其中创建SparkContext为Spark的上下文。在Spark中由SparkContext负责与ClusterM...
三、Spark性能调优——并行度调节
嘻哈吼嘿呵的博客
10-09 371
val conf = new SparkConf() .set("spark.default.parallelism", "500") Spark 作业中的并行度指各个 stage 的 task 的数量。 如果并行度设置不合理而导致并行度过低， 会导致资源的极大浪费，例如， 20个 Executor，每个 Executor 分配 3 个 CPU core， 而 Spark 作业有 40 个 ...
Spark作业执行基本原理
嘻哈吼嘿呵的博客
08-09 310
目录 一、相关术语及基本作业流程 二、作业提交 三、划分Stage 四、提交Stage 五、提交任务 六、执行任务 七、获取执行结果 一、相关术语及基本作业流程 1、相关术语 作业（Job）：RDD中由行动操作所生成的一个或者多个调度阶段 调度阶段（Stage）：每个作业会因为RDD之间的依赖关系拆分成多组任务集合，称为调度阶段，也叫做任务集合（TaskSe...
七、Spark性能调优——Shuffle 调优
嘻哈吼嘿呵的博客
10-10 261
目录 一、调节 map 端缓冲区大小 二、调节 reduce 端拉取数据缓冲区大小 三、调节 reduce 端拉取数据重试次数 四、调节 reduce 端拉取数据等待间隔 五、调节 SortShuffle 排序操作阈值 一、调节 map 端缓冲区大小 val conf = new SparkConf() .set("spark.shuffle.file.buffer", "6...
一、Spark性能调优——最优资源配置
嘻哈吼嘿呵的博客
10-09 252
Spark 性能调优的第一步，就是为任务分配更多的资源， 在一定范围内，增加资源的分配与性能的提升是成正比的， 实现了最优的资源配置后， 在此基础上再考虑进行后面论述的性能调优策略。 资源的分配在使用脚本提交 Spark 任务时进行指定， 标准的 Spark 任务提交脚本： /usr/opt/modules/spark/bin/spark-submit \ --class com.atgui...
六、Spark性能调优——算子调优
嘻哈吼嘿呵的博客
10-09 237
目录 一、mapPartition 二、freachPartition优化数据库操作 三、filter 与 coalesce结合 四、repartition 解决 SparkSQL 低并行度问题 五、reduceByKey 本地聚合 一、mapPartition 普通的 map 算子对 RDD 中的每一个元素进行操作， 而 mapPartitions 算子对 RDD中每一个分区进行操...
二、Spark性能调优——RDD优化
嘻哈吼嘿呵的博客
10-09 235
1 RDD 复用 在对 RDD 进行算子时， 要避免相同的算子和计算逻辑之下对 RDD 进行重复的计算， 优化前如图 优化后如图 2 RDD 持久化 在 Spark 中，当多次对同一个 RDD 执行算子操作时， 每一次都会对这个 RDD以之前的父 RDD 重新计算一次，这种情况是必须要避免的，对同一个 RDD 的重复计算是对资源的极大浪费，因此， 必须对多次使用的 RDD 进行持...
四、Spark性能调优——Kryo序列化
嘻哈吼嘿呵的博客
10-09 213
默认情况下， Spark 使用 Java 的序列化机制。 Java 的序列化机制使用方便，不需要额外的配置，在算子中使用的变量实现 Serializable 接口即可， 但是， Java 序列化机制的效率不高，序列化速度慢并且序列化后的数据所占用的空间依然较大。 Kryo 序列化机制比 Java 序列化机制性能提高 10 倍左右， Spark 之所以没有默认使用 Kryo 作为序列化类库，是因为...
五、Spark性能优化——调节本地化等待时长
嘻哈吼嘿呵的博客
10-09 184
val conf = new SparkConf() .set("spark.locality.wait", "6") Spark 作业运行过程中， Driver 会对每一个 stage 的 task 进行分配。 根据 Spark的 task 分配算法， Spark 希望 task 能够运行在它要计算的数据算在的节点（数据本地化思想）， 这样就可以避免数据的网络传输。通常来说， task 可能...
九、Spark 数据倾斜
嘻哈吼嘿呵的博客
10-10 179
目录 一、 聚合原数据 1. 避免 shuffle 过程 二、 过滤导致倾斜的 key 三、 提高 shuffle 操作中的 reduce 并行度 1. reduce 端并行度的设置 2. reduce 端并行度设置存在的缺陷 四、 使用随机 key 实现双重聚合 五、 将 reduce join 转换为 map join 1. 核心思路： 2. 不适用场景分析： 六、 sa...
Spark踩坑记
嘻哈吼嘿呵的博客
08-14 153
1、spark读写mysql，mysql 可以设置是否区分大小写，spark区分大小写
十、Spark Troubleshooting
嘻哈吼嘿呵的博客
10-11 149
一控制 reduce 端缓冲大小以避免 OOM 在 Shuffle 过程， reduce 端 task 并不是等到 map 端 task 将其数据全部写入磁盘后再去拉取， 而是 map 端写一点数据， reduce 端 task 就会拉取一小部分数据， 然后立即进行后面的聚合、算子函数的使用等操作。reduce 端 task 能够拉取多少数据，由 reduce 拉取数据的缓冲区 buffer 来...
Spark 内存管理
嘻哈吼嘿呵的博客
09-29 134
在执行 Spark 的应用程序时， Spark 集群会启动 Driver 和 Executor 两种JVM 进程，前者为主控进程，负责创建 Spark 上下文，提交 Spark 作业（Job），并将作业转化为计算任务（Task），在各个 Executor 进程间协调任务的调度，后者负责在工作节点上执行具体的计算任务，并将结果返回给 Driver，同时为需要持久化的 RDD 提供存储功能。由于 Dr...
BIGO的Flink OLAP与实时数仓优化实践
在数据流转过程中，BIGO通过Web、App、DB和BinLog接入数据，使用Flink和Spark进行数据计算，Presto和ClickHouse进行数据查询，以及Hive和MySQL等进行数据存储和输出。 在实践中，BIGO发现几个主要问题：一是OLAP...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值