- 博客(7)
- 收藏
- 关注
RSS订阅原创 Redis-RDB持久化
1.Redis为什么需要持久化Redis对数据的操作都是基于内存，当服务器宕机或者Redis进程意外结束，在Redis内存中的数据就会丢失。持久化操作顾名思义就是对数据进行落盘，避免数据的丢失。Redis有两种持久化方案：RDB、AOF2.RDB持久化...
2021-09-27 16:17:24
85
原创 Flink On Yarn
Yarn模式Yarn是一个分布式集群资源管理框架，在Yarn集群上可以部署运行各种分布式式应用程序。例如：Mapreduce，Spark。Yarn框架为这些分布式应用程序运行提供了可靠的支持。因为在生产开发环境中很少使用Standalone模式，Flink On Yarn模式用的稍微多一点，今天我们就来讲讲Flink On Yarn第一种方式在Yarn集群中初始化一个Flink集群，该Flink集群占用着指定的资源，以后提交...
2021-07-23 07:49:48
720
1
原创 Flink程序的分布式执行模型
1、任务和任务链在分布式计算环境中，Flink会将同一个Flink程序中具有依赖关系的多个操作符的子任务链接到一起形成一个任务链，每一个任务链都是由一个独特的线程进行执行。这样的优点：它减少了线程的切换和缓冲的开销，并在减少延迟的同时提高了总体的吞吐量(序列化和反序列化的影响，减少数据在缓冲区的交换)假定该程序中Source，Map，KeyBy/Window操作符的并行度均为2，而Sink操作符的并行度均为1，由于Flink会尽可能地将多个操作符的子任务链接成一个任务链。我们首先看看如下的程序流图
2021-07-12 10:13:24
569
原创 Kafka Producer
为了备战四级，这段时间就没有写博客，今天考完，废话不多说，来一篇。下图为Kafka发送消息的主要步骤：步骤1：我们首先创建一个ProducerRecord对象，从上图可以看出，里面包含着发送的目标主题，分区，键，值，Partition和key可以不指定，但是Topic和Value必须指定。在发送ProducerRecord对象时，生产者先把键和值对象序列化成字节数组，便于之后的网络传输的进行。步骤2：接下来通过序列化器，把键和值序列化成字节数组，数据传给分区器，但是如果之前在ProducerR
2020-12-14 19:30:49
188
3
原创 RDD Programming Foundation
废话不多说，首先上个图：下面我们开始进入Spark RDD的部分学习。1、RDD创建首先我们要学会从哪里创建一个RDD，前面的我的文章已经说了，RDD是弹性分布式数据集，本质上是一个只读的分区记录集合，每个RDD又被分成了若干个分区，并且不同的分区存在不同的节点上，从而可以进行分布式并行计算，提高程序的执行效率。RDD提供了一种高度受限的共享内存模型，即RDD是只读的记录分区的集合，不能直接修改，只能基于稳定的物理存储中的数据集来创建RDD或者通过在其他的RDD上执行确定的转换操作（map、jo
2020-12-01 20:01:35
2176
5
原创 Spark运行架构
1、基本的概念：（1）RDD：是弹性分布式数据集（Resilient Distributed Dataset）的简称，是分布式内存的一个抽象的概念，提供了一种高度受限的共享内存模型（2）DAG：是有向无环图（Directed Acyclic Graph）的简称，反应RDD之间的依赖关系（3）Executor：是运行在工作节点（Worker Node）上的一个进程，负责运行任务，并为应用程序存储数据（4）...
2020-11-30 22:10:05
1936
3
原创 Spark实战演练(1)-WordCount
大家好我是一名数据科学与大数据专业的一名大二学生，对大数据处理和大数据分析很感兴趣，写博客只是记录我学习的过程，并且与大家分享学习经验！
2020-11-29 15:31:48
1443
6
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人