Spark Streaming 将数据保存在msyql中

最新推荐文章于 2022-08-05 17:20:10 发布
最新推荐文章于 2022-08-05 17:20:10 发布
阅读量533 收藏
点赞数
分类专栏： Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ZMC921/article/details/75008786
版权
该博客探讨了Spark Streaming的持久化设计模式，特别是如何使用DStream的输出操作，如print、saveAs*Files及foreachRDD。重点介绍了如何使用foreachRDD与MySQL交互，包括建立连接池、批处理写入数据，以及优化MySQL操作以提高效率。
摘要由CSDN通过智能技术生成

Spark Streaming持久化设计模式

DStreams输出操作

  • print：打印driver结点上每个Dstream中的前10个batch元素，常用于开发和调试
  • saveAsTextFiles(prefix, [suffix])：将当前Dstream保存为文件，每个interval batch的文件名命名规则基于prefix和suffix："prefix-TIME_IN_MS[.suffix]".
  • saveAsObjectFiles(prefix, [suffix])：将当前的Dstream内容作为Java可序列化对象的序列化文件进行保存，每个interval batch的文件命名规则基于prefix和suffix：: "prefix-TIME_IN_MS[.suffix]".
  • saveAsHadoopFiles(prefix, [suffix])：将Dstream以hadoop文件的形式进行保存，每个interval batch的文件命名规则基于prefix和suffix：: "prefix-TIME_IN_MS[.suffix]".
  • foreachRDD(func)：最通用的输出操作，可以对从数据流中产生的每一个RDD应用函数_fun_。通常_fun_会将每个RDD中的数据保存到外部系统，如：将RDD保存到文件，或者通过网络连接保存到数据库。值得注意的是：_fun_执行在跑应用的driver进程中，并且通常会包含RDD action以促使数据流RDD开始计算。

使用foreachRDD的设计模式

dstream.foreachRDD对于开发而言提供了很大的灵活性，但在使用时也要避免很多常见的坑。我们通常将数据保存到外部系统中的流程是：建立远程连接->通过连接传输数据到远程系统->关闭连接。针对这个流程我

最低0.47元/天 解锁文章
守猫de人
关注
专栏目录
SparkStreaming读取Kafka的Json数据然后保存到MySQL
weixin_44455388的博客
08-23 2030
一般我们使用SparkStreaming消费kafka数据，获取到数据后解析，使用JDBC的方式写入数据库。 以上的方式没什么毛病，但是当我们消费的kafka数据类型比较多样的时候，我们需要对每一类的kafka数据都要解析一遍，才能使用jdbc写入数据库。 而我们如果使用sparkSQL的话，则会简单很多，于是想到了以下这种方式，同时使用了SparkStreaming和SparkSQL，SparkStreaming负责消费kafka数据，SparkSQL负责将数据写入数据库。 数据示例： {“msg”:
Spark Streaming实时流处理项目实战笔记——将统计结果写入到MySQL数据库中
优质后端技术知识记录
11-29 979
思路 两种方式，一种可优化（foreachRDD后，直接创建连接Mysql），一种在（foreachRDD后通过foreachPartition，通过分区获取） 代码实现 import java.sql.DriverManager import Spark.UpdateStateByKey.workds import Spark.WordCount.ssc impor...
【spark学习】SparkStreaming将采集结果存储MySQL数据库
xiexianyou666的博客
06-10 765
一.需求说明 SparkStreaming采集网页日志文件，计算网页的热度，根据网页热度排序取前10行，最后将网页ID和热度存入MySQL数据库 二.日志文件准备 说明：以原始数据 test.log为基础，用日志生成程序不断的生成日志文件，以供SparkStraming采集和处理 网站热度计算规则：0.1*用户等级+0.9*访问次数+0.4*停留时间+是否点赞 原始数据文件 test.log。字段分隔符为 "," 10行 网页ID 用户等级 访问次数 停留时间 是否点赞(1为赞，-1表示踩，0表示中立) 0
SparkStreaming保存数据至MySQL
科小勒的博客
02-19 548
import java.sql.{Connection, DriverManager, PreparedStatement} import org.apache.spark.SparkConf import org.apache.spark.streaming.{Seconds, StreamingContext} /** * @ClassName: DStreamOutput * @Description: * @Author: kele * @Date: 2021/2/19 9:40
SparkStreaming - 写入到mysql ForeachRdd
qq_15300683的博客
06-14 467
import java.sql.DriverManager import org.apache.spark.SparkConf import org.apache.spark.streaming.{Seconds, StreamingContext} object ForeachRDDApp {   def main(args: Array[String]) {     val sparkC...
spark stream mysql_使用SparkStreaming实现将数据写到MySQL中
weixin_29428137的博客
02-11 454
(1)在pom.xml中加入如下依赖包1 2 mysql3 mysql-connector-java4 5.1.385 6 7 commons-dbcp8 commons-dbcp9 1.410 (2)在MySql中创建数据库和表，命令操作如下1 mysql -uroot –p2 create database test;3 use test;4 s...
Spark-Streaming:Spark Streaming实时解析flume和kafka传来的josn数据写入mysql
05-03
Spark Streaming实时解析flume和kafka传来的josn数据写入mysql 注意，以下文件不提供 配置c3p0-config.xml链接，链接数据库 配置log4j.properties、my.properties 另，还需将您的spark和hadoop安装文件下的core-site...
SparkStreaming读取Kafka数据源并写入Mysql数据库
qq_45862976的博客
11-24 5653
SparkStreaming读取Kafka数据源并写入Mysql数据库 一、实验环境 本实验所用到的工具有 kafka_2.11-0.11.0.2； zookeeper-3.4.5； spark-2.4.8； Idea； MySQL5.7 什么是zookeeper？ zookeeper 主要是服务于分布式服务，可以用zookeeper来做：统一配置管理，统一命名服务，分布式锁，集群管理。使用分布式系统就无法避免对节点管理的问题（需要是实时感知节点的状态，对接点进行统一管理等等），而由于这些问题处理起来
spark-streaming将实时数据写入到mysql 中
weixin_49309830的博客
01-14 1103
package com.imooc.spark import java.sql.DriverManager import com.imooc.spark.stateful.updateFunction import org.apache.spark.SparkConf import org.apache.spark.streaming.{Seconds, StreamingContext} object foreachrdd { def main(args: Array[String]): Uni
streaming接mysql数据库_Spark Streaming 中使用c3p0连接池操作mysql数据库
weixin_31951989的博客
01-30 302
在Spark Streaming的应用程序中，有时候需要将计算结果保存到数据库中，为了高效这里使用批量插入，结合c3po连接池，说明一下使用方法。数据计算完成后，在foreachRDD中批量插入数据，因为是针对每一个partiton的数据操作，所以使用 rdd.foreachPartition，这里是一个批量插入页面PV和UV的操作，代码如下//RDD[(String,Int,Int)]的意思是...
spark中序列化错误，sparkStreaming将wordcount单词统计结果插入mysql
dizaoshen1316的博客
09-25 103
做spark开发错误 task不能序列化 18/09/25 14:47:35 ERROR JobScheduler: Error running job streaming job 1537858055000 ms.1org.apache.spark.SparkException: Task not serializable 是什么不能序列化呢？是mysql连接，这种写法是错误的 ...
DStream输出介绍_大数据培训
zjjcchina的博客
08-05 177
3）saveAsObjectFiles(prefix, [suffix])：以Java对象序列化的方式将Stream中的数据保存为 SequenceFiles . 每一批次的存储文件名基于参数中的为”prefix-TIME_IN_MS[.suffix]”. Python中目前不可用。（5）foreachRDD(func)：这是最通用的输出操作，即将函数 func 用于产生于 stream的每一个RDD。（1）print()：在运行流程序的驱动结点上打印DStream中每一批次数据的最开始10个元素。...
spark stream中的dstream对象saveAsTextFiles问题
艾@七的专栏
09-19 8156
利用spark streaming从kafka读取数据，进行流数据的统计分析，最后产生dstream类型的结果集，但是涉及到数据的保存时，遇到了一点小障碍。 我们都知道，spark中普通rdd可以直接只用saveAsTextFile(path)的方式，保存到本地，hdfs中，但是dstream对象没有saveAsTextFile()方法，只有saveAsTextFiles()方法，而且，其参数只
Spark Streaming之一：整体介绍
weixin_33769125的博客
03-19 321
提到Spark Streaming，我们不得不说一下BDAS（Berkeley Data Analytics Stack），这个伯克利大学提出的关于数据分析的软件栈。从它的视角来看，目前的大数据处理可以分为如以下三个类型。  复杂的批量数据处理（batch data processing），通常的时间跨度在数十分钟到数小时之间。 基于历史数据的交互式查询（interactive query...
Spark（四）— Spark Streaming
ks_1998的博客
05-01 3460
Spark（四）— Spark Streaming
Spark Streaming 的saveAsTextFiles遇到的坑
weixin_34319374的博客
01-10 1086
使用sparkStreaming消费数据，并使用Dstream的saveAsTextFile保存数据到hdfs中，通过使用这个方法，生成的文件夹存在问题， 代码例子如下： resultRdd.map(x=>x).saveAsTextFiles("hdfs:ip//data/storage/20181010/"+(new Date()))...
####好#####DStreams上的输出操作
木东的博客
12-07 493
DStreams上的输出操作 输出操作允许DStream的操作推到如数据库、文件系统等外部系统中。因为输出操作实际上是允许外部系统消费转换后的数据，它们触发的实际操作是DStream转换。目前，定义了下面几种输出操作： Output Operation Meaning print() 在DStream的每个批数据中打印前10条元素，这个操作在开发和调试中都非常
[Spark streaming举例]-- 实时统计并且存储到mysql数据库中
热门推荐
欢迎来到我的博客，一起探索代码里的世界！
06-04 1万+
举例 package com.scala.my import org.apache.spark.SparkConf import org.apache.spark.streaming.Durations import org.apache.spark.streaming.StreamingContext /**  *   * @author root  * 测试步骤：  *    1\打开h...
基于scala语言的sparkstreaming将结果保存至mysql案例
最新发布
04-26
非常感谢您的提问。我可以尝试回答您的问题。在基于Scala语言的Spark Streaming中，将结果保存至MySQL的方式非常简单。您可以使用Java JDBC连接器将Spark流数据写入MySQL数据库。以下是一个简单的示例代码： ```scala import java.sql.{Connection, DriverManager, PreparedStatement} import org.apache.spark.SparkConf import org.apache.spark.streaming.{Seconds, StreamingContext} object SparkStreamingToMySQL { def main(args: Array[String]) { val conf = new SparkConf().setAppName("SparkStreamingToMySQL").setMaster("local[*]") val ssc = new StreamingContext(conf, Seconds(5)) val lines = ssc.socketTextStream("localhost", 9999) val words = lines.flatMap(_.split(" ")) val wordCounts = words.map((_, 1)).reduceByKey(_ + _) wordCounts.foreachRDD { rdd => rdd.foreachPartition { partitionOfRecords => val conn = createNewConnection() partitionOfRecords.foreach { record => val sql = "insert into word_counts(word, count) values (?, ?)" val stmt = conn.prepareStatement(sql) stmt.setString(1, record._1) stmt.setInt(2, record._2) stmt.execute() } conn.close() } } ssc.start() ssc.awaitTermination() } def createNewConnection(): Connection = { Class.forName("com.mysql.jdbc.Driver") DriverManager.getConnection("jdbc:mysql://localhost:3306/test?user=root&password=root") } } ``` 在这个示例中，Spark流数据通过socketTextStream连接到本地的9999端口。然后，单词计数器被应用于流数据，并且使用foreachPartition函数将结果分区写回MySQL。如果MySQL数据库已经启动并且名称为“test”，则可以运行此示例代码，并将结果写入名为“word_counts”的表中。 希望这个回答能够满足您的要求。如果您有任何其他问题或需要更多帮助，请告诉我。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值