20240901 大数据流式计算 - SPRAK3.5与FLINK1.19（入门）

已于 2024-09-28 00:49:37 修改
阅读量1.1k 收藏 16
点赞数 9
文章标签： 大数据 spark scala flink
于 2024-09-01 00:50:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46449024/article/details/141761576
版权

简要对比

spark structured stream

Structured Streaming Programming Guide - Spark 3.5.1 Documentation

flink

Apache Flink Documentation | Apache Flink
Apache Flink CDC | Apache Flink CDC
 
source file source API: readStream.format("csv")... flink SQL
source kafka source API: readStreammWriter.format("kafka")... flink SQL
source redis sourcek API: readStream.format("redis")... 没有基于stream；可以做batch/dim表https://github.com/jeff-zou/flink-connector-redis
source jdbc source N/A flink SQL CDC

spark structured stream flink
sink file
sdf.writeStream.format(...)
append		 append
sink kafka
kafka upsert		 sdf.writeStream.format(...)
Append, 
Update,
Complete
(at-least-once)
相当于没有主键的K,V表；
所有mode，都是insert into		 基于SQL语义自动判断：
1. 当simple source to sink ETL, append mode, 可以写KAFKA
2. 当agg， 有update语义，可以写upsert-kafka
sink redis sink 支持A,U,C; 但需要通过foreach自定义实现（间接调用普通的df.write)

source:基于redis v5+, stream api (xadd,xread)
sink: foreachBatch,基于hset hget		 没有基于stream；可以做batch/dim表h
最低0.47元/天 解锁文章
weixin_46449024
关注
20241001 大数据流式计算 - SPRAK3.5与FLINK1.20 （实践）
weixin_46449024的博客
09-27 185
两款流行的大数据计算引擎都在流批计算方面不断进化；看来流批一体是趋势。两者都将SQL发挥的淋漓精致，开发效率将来必然会有更大的提升。
20240801 大数据批处理-SPRAK3.5 (API)
weixin_46449024的博客
08-02 266
df1.show()ds1.show()list += p})})ds3.show()
20240801 大数据批处理-SPRAK3.5（高效率）
weixin_46449024的博客
08-02 973
通过API方式可以灵活的实现业务需求，复用现有代码，搭建自定义的应用框架，有其不可替代的应用场景。在API的基础上，日常的简单的业务需求应该通过更加高效的方式实现, SPARK SQL。（*各大厂商通过SQL已经成功改变了大数据的开发范式）
一文入门大数据准流式计算引擎Spark【万字详解，全网最新】
qq_73181349的博客
09-04 1301
Spark发展、特点、概述，三大组件：Spark Core、Saprk SQL、Spark Streaming，RDD算子、RDD转换和行动操作、RDD持久化和缓存、检查点机制、宽窄依赖、DAG、Stage，Spark SQL发展、概述、特点、dataframe、dataset，Spark Streaming工作机制、缓存、容错、DStream、常见流式计算和离线计算，Spark多种部署方式
Flink系列之大数据分布式计算引擎设计实现剖析
luoyepiaoxue2014的博客
12-01 437
Flink系列之大数据分布式计算引擎设计实现剖析
大数据环境4--Spark和Mapreduce之间的关系
m0_66735072的博客
05-24 401
它提供了基于RDD（弹性分布式数据集）的编程模型，支持更丰富的转换操作，如map、filter、join等。此外，Spark支持在内存中进行计算，减少了I/O开销，提高了处理速度。：它是一个快速、通用的大规模数据处理引擎，支持多种计算模式，包括流处理、批处理、交互式查询和机器学习等。Spark和MapReduce都是大数据处理领域中的重要工具，它们在设计思路、应用场景和技术特性上存在一些差异，同时也有着密切的关系。：在某些场景下，Spark可以作为MapReduce的替代方案，提供更高效的数据处理能力。
大数据篇--Spark调优
小强签名设计 的博客
05-26 517
文章目录一、算子的合理选择1.map和mappartition：2.foreach和foreachpartition： 一、算子的合理选择 pom.xml内容： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:
2022-美团-大数据研发工程师-秋招面经
思南的博客
10-13 1094
1、技术一面 Q1：自我介绍 Q2：介绍字节内存泄漏和OOM的问题 Q3：字节的KV存储库、内存和缓存的关系 Q4：介绍伴随同行项目 Q5：项目是否具有分层，比如dao、util、处理层，也就是spring boot的那一套 Q6：数据量级多大、数据存储格式是什么、spark如何读取 Q7：数据库索引、B+树、红黑树、B树、B-树、平衡二叉树的区别 Q8：spark client和sprak cluster的区别 Q9：Spark中repartition和coalesce的区别和用法 Q10：快速排序 Q1
Spark-SQL学习与快速入门
不以物喜的博客
06-24 404
0 什么是 Spark SQL Spark SQL 是 Spark 用于结构化数据(structured data)处理的 Spark 模块. 与基本的 Spark RDD API 不同, Spark SQL 的抽象数据类型为 Spark 提供了关于数据结构和正在执行的计算的更多信息. 在内部, Spark SQL 使用这些额外的信息去做一些额外的优化. 有多种方式与 Spark SQL 进行交互, 比如: SQL 和 Dataset API. 当计算结果的时候, 使用的是相同的执行引擎, 不依赖你正在使用
（三）使用Ansible搭建分布式大数据基础环境-编写第一个playbook
workwithwebis3w的专栏
07-04 916
“使用Ansible搭建分布式大数据基础环境”列文章完整包含了如何使用Ansible这一分布式运维利器，来帮我们快速搭建Hadoop2/Spark2/Hive2/ZooKeeper3/Flink1.7/ElasticSearch5等一整套大数据解决方案。本篇是系列文章的第三篇。更多后续文章敬请关注。 （一）使用Ansible搭建分布式大数据基础环境-环境准备 （二）使用Ansible搭建分布式...
2022-02-09大数据学习日志——PySpark——Spark快速入门&Standalone集群
tingbaobaoo的博客
02-09 2665
01_Spark 快速入门【Anaconda 软件安装】[掌握] 使用Python编写Spark代码，首先需要安装Python语言包，此时安装Anaconda科学数据分析包。 Anaconda指的是一个开源的Python发行版本，其包含了conda、Python等180多个科学包及其依赖项。Anaconda 是跨平台的，有 Windows、MacOS、Linux 版本。 # 下载地址： https://repo.anaconda.com/archive/ # 清华大学开源软件镜像站： https:
Sprak2.0 Streaming消费Kafka数据实时计算及运算结果保存数据库代码示例
gmHappy
05-07 2977
package com.gm.hive.SparkHive; import java.util.Arrays; import java.util.Collection; import java.util.HashMap; import java.util.List; import java.util.Map; import java.util.Properties; import org.ap...
020 elasticsearch7.10.2 elasticsearch-head kibana安装
m0_46695127的博客
10-13 788
020 elasticsearch7.10.2 elasticsearch-head kibana安装
第十二章 RabbitMQ之失败消息处理策略
Calvin的博客
10-11 1383
Spring AMQP提供了消费者失败重试机制，在消费者出现异常时利用本地重试，而不是无限地requeue到mq。我们可以定义一个异常队列和交换机，来接收其他交换机队列转发的无法处理的异常消息。然后我们可以查看其中的异常消息并进行人工处理。重试耗尽后，直接reject，丢弃消息（默认方式）重试耗尽后，将失败消息投递到指定的交换机（推荐）2. 定义接收失败消息的交换机、队列及其绑定关系。重试耗尽后，返回nack，消息重新入队。在实际项目的生产环境中，通过。
SparkSQL介绍及使用
m0_70882914的博客
10-13 428
SparkSQL介绍及使用
大数据与人工智能在金融风险控制中的应用
最新发布
2405_87249521的博客
10-16 811
通过对海量数据的实时分析和智能化的预测模型，金融机构能够更准确地识别潜在风险，采取适当的防范措施，从而提升金融市场的稳定性和安全性。传统的信用评估主要依赖于财务报表和历史信用记录，而大数据技术可以结合客户的社交媒体行为、购物习惯、互联网搜索记录等非结构化数据，为风险评估提供更全面的视角。同时，AI还能够自动识别潜在的合规风险，减少人工审核的压力。大数据与人工智能在金融风险管理中有着广泛的应用场景，从信用评估、市场风险分析，到反欺诈和监管合规，都可以利用这些技术来提升风险控制的效率和准确性。
大数据治理：挑战与实践
weidl001的博客
10-13 1150
大数据治理是现代企业在数据管理过程中必须面对的挑战，通过科学有效的治理策略和先进的工具，企业可以有效地提升数据质量、增强数据安全、满足合规要求，并最大化数据的业务价值。随着大数据技术和AI的进步，大数据治理的自动化和智能化将为企业提供更强的竞争力。持续投入和关注数据治理，将有助于企业在复杂的数据环境中把握先机、实现创新。
第七章 RabbitMQ之交换机
Calvin的博客
10-10 1722
在RabbitMQ中，交换机（Exchange）是用来接收生产者发送的消息并将这些消息路由到一个或多个队列的组件。不同类型的交换机决定了它们如何路由这些消息。以下是RabbitMQ中几种常用交换机类型：直接交换机（direct）：如果路由键完全匹配，消息就被投递到相应的队列。广播交换机（fanout）：消息被广播到所有绑定的队列。主题交换机（topic）：如果路由键匹配模式（通配符*代表匹配多个单词和#代表匹配一个单词），消息被投递到相应的队列。头交换机（headers）：通过匹配消息头进行路由。
es简单实现文章检索功能
m0_73363097的博客
10-10 428
使用的api是：Elasticsearch Java API client 8.0。
在sprak中计算数据中有好多条数据
06-12
在Spark中，您可以使用以下代码计算数据集中的数据条数： ```python # 导入SparkSession from pyspark.sql import SparkSession # 创建SparkSession spark = SparkSession.builder.appName("count_rows").getOrCreate() # 读取数据 data = spark.read.csv("path/to/your/data.csv", header=True, inferSchema=True) # 计算数据条数 row_count = data.count() # 打印结果 print("数据中有 ", row_count, " 条数据。") ``` 在上述代码中，首先通过SparkSession读取数据，然后使用count()方法计算数据条数，最后将结果打印出来。请注意，如果您的数据集很大，count()方法可能会非常耗时，因此您应该谨慎使用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值