structStreaming 实例二从Kafka 中读取数据保存到mysql中

最新推荐文章于 2024-03-28 05:09:23 发布
最新推荐文章于 2024-03-28 05:09:23 发布
阅读量797 收藏 2
点赞数 1
分类专栏： # spark 文章标签： spark 大数据 kafka mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hongchenshijie/article/details/105589582
版权

文章目录

依赖

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>org.example</groupId>
    <artifactId>spark01</artifactId>
    <version>1.0-SNAPSHOT</version>


    <!-- 指定仓库位置，依次为aliyun、cloudera和jboss仓库 -->
    <repositories>
        <repository>
            <id>aliyun</id>
            <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
        </repository>
        <repository>
            <id>cloudera</id>
            <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
        </repository>
        <repository>
            <id>jboss</id>
            <url>http://repository.jboss.com/nexus/content/groups/public</url>
        </repository>

        <repository>
            <id>scala-tools.org</id>
            <name>Scala-tools Maven2 Repository</name>
            <url>http://scala-tools.org/repo-releases</url>
        </repository>
    </repositories>

    <pluginRepositories>
        <pluginRepository>
            <id>scala-tools.org</id>
            <name>Scala-tools Maven2 Repository</name>
            <url>http://scala-tools.org/repo-releases</url>
        </pluginRepository>
    </pluginRepositories>


    <properties>
        <maven.compiler.source>1.8</maven.compiler.source>
        <maven.compiler.target>1.8</maven.compiler.target>
        <encoding>UTF-8</encoding>
        <scala.version>2.11.8</scala.version>
        <scala.compat.version>2.11</scala.compat.version>
        <hadoop.version>2.7.4</hadoop.version>
        <spark.version>2.2.0</spark.version>
    </properties>
    <dependencies>
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>${scala.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>${spark.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.11</artifactId>
            <version>${spark.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-hive_2.11</artifactId>
            <version>${spark.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-hive-thriftserver_2.11</artifactId>
            <version>${spark.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming_2.11</artifactId>
            <version>${spark.version}</version>
        </dependency>
        <!-- <dependency>
             <groupId>org.apache.spark</groupId>
             <artifactId>spark-streaming-kafka-0-8_2.11</artifactId>
             <version>${spark.version}</version>
         </dependency>-->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming-kafka-0-10_2.11</artifactId>
            <version>${spark.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql-kafka-0-10_2.11</artifactId>
            <version>${spark.version}</version>
        </dependency>

        <!--<dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.6.0-mr1-cdh5.14.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-client</artifactId>
            <version>1.2.0-cdh5.14.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-server</artifactId>
            <version>1.2.0-cdh5.14.0</version>
        </dependency>-->

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.7.4</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-client</artifactId>
            <version>1.3.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-server</artifactId>
            <version>1.3.1</version>
        </dependency>
        <dependency>
            <groupId>com.typesafe</groupId>
            <artifactId>config</artifactId>
            <version>1.3.3</version>
        </dependency>
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>5.1.38</version>
        </dependency>
    </dependencies>

    <build>
        <sourceDirectory>src/main/scala</sourceDirectory>
        <testSourceDirectory>src/test/scala</testSourceDirectory>
        <plugins>
            <!-- 指定编译java的插件 -->
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.5.1</version>
            </plugin>
            <!-- 指定编译scala的插件 -->
            <plugin>
                <groupId>net.alchim31.maven</groupId>
                <artifactId>scala-maven-plugin</artifactId>
                <version>3.2.2</version>
                <executions>
                    <execution>
                        <goals>
                            <goal>compile</goal>
                            <goal>testCompile</goal>
                        </goals>
                        <configuration>
                            <args>
                                <arg>-dependencyfile</arg>
                                <arg>${project.build.directory}/.scala_dependencies</arg>
                            </args>
                        </configuration>
                    </execution>
                </executions>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-surefire-plugin</artifactId>
                <version>2.18.1</version>
                <configuration>
                    <useFile>false</useFile>
                    <disableXmlReport>true</disableXmlReport>
                    <includes>
                        <include>**/*Test.*</include>
                        <include>**/*Suite.*</include>
                    </includes>
                </configuration>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>2.3</version>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>
                        <configuration>
                            <filters>
                                <filter>
                                    <artifact>*:*</artifact>
                                    <excludes>
                                        <exclude>META-INF/*.SF</exclude>
                                        <exclude>META-INF/*.DSA</exclude>
                                        <exclude>META-INF/*.RSA</exclude>
                                    </excludes>
                                </filter>
                            </filters>
                            <transformers>
                                <transformer
                                        implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
                                    <mainClass></mainClass>
                                </transformer>
                            </transformers>
                        </configuration>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>
</project>

主类

import org.apache.spark.sql.{Dataset, SparkSession}

/**
 * @author 红尘丶世界
 * @version v 1.0
 *       structStreaming 集成kafka -> 集成mysql
 */
object StructStreamingKafkaOutMysql {
  def main(args: Array[String]): Unit = {
    //1.准备环境
    // 创建sparkSession
    val spark: SparkSession = SparkSession.builder()
      .appName("structStreamingMysql")
      .master("local[*]")
      .getOrCreate()
    spark.sparkContext.setLogLevel("ERROR")

    //2.接收数据
    val kafkaData = spark.readStream.format("kafka")
      .option("kafka.bootstrap.servers", "hadoop01:9092,hadoop02:9092,hadoop03:9092") //指定节点
      .option("subscribe", "test03") //指定topic
      .load()

    //3.计算数据
    import spark.implicits._
    val kafkaDataString: Dataset[(String, String)] = kafkaData.selectExpr("CAST(key AS string)", "CAST(value AS string)").as[(String, String)]
    val word: Dataset[String] = kafkaDataString.flatMap(a => a._2.split(" "))
    val wordCount = word.groupBy("value").count().sort($"count".desc)

    val intoMysql = new OutputToMySql("jdbc:mysql://hadoop01:3306/spark_streaming?characterEncoding=UTF-8", "root", "123456")

    //4.输出数据
    wordCount.writeStream
      .foreach(intoMysql)
      .outputMode("complete")
      .start()
      .awaitTermination()
  }
}

保存数据

import java.sql.{Connection, DriverManager, PreparedStatement}

import org.apache.spark.sql.{ForeachWriter, Row}

/**
 * @author 红尘丶世界
 * @version v 1.0
 */
class OutputToMySql(url: String, username: String, password: String) extends ForeachWriter[Row] with Serializable {
  var connection: Connection = _
  var ps: PreparedStatement = _


  //5.打开数据库连接
  override def open(partitionId: Long, version: Long): Boolean = {
    connection = DriverManager.getConnection(url, username, password)
    true
  }

  //6.将数据写入/更新到mysql
  override def process(value: Row): Unit = {
    //value 内的第一个数据是单词,第二个是单词的数量
    //获取到数据
    val word: String = value.get(0).toString
    val count: Int = value.get(1).toString.toInt
    println(s"word = ${word}\tcount = ${count}")
//    val sql = "INSERT INTO t_word (id, word, count) VALUES (null,?,?) ON DUPLICATE KEY UPDATE count = ?"
    val sql ="replace into t_word (id, word, count) VALUES (null,?,?)"
    ps = connection.prepareStatement(sql)
    //设置 word 的值
    ps.setString(1, word)
    //设置 count 的值
    ps.setInt(2, count)
//    ps.setInt(3, count)
    ps.executeUpdate()
  }

  //7.关闭连接
  override def close(errorOrNull: Throwable): Unit = {
    if (ps != null) {
      ps.close()
    }
    if (connection != null){
      connection.close()
    }
  }
}
红尘丶世界
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python3实现从kafka获取数据,并解析为json格式,写入到mysql中
01-21
项目需求：将kafka解析来的日志获取到数据库的变更记录，按照订单的级别和订单明细级别写入数据库，一条订单的所有信息包括各种维度信息均保存在一条json中，写入mysql5.7中。 配置信息： [Global] kafka_server=...
Spark从Kafka获取数据写入MySQL的实现（流式数据）
weixin_48143996的博客
04-24 1595
Kafka -> spark ->Mysql
从kafka读取数据并入库(mysql)
刚毕业的大学生，一个小白，主打的就是真诚
11-27 1340
从kafka消费信息，并入库
MySQL 到 Kafka 实时数据同步实操分享，面试一路绿灯Offer拿到手软
最新发布
m0_60635321的博客
03-28 325
现在能在网上找到很多很多的学习资源，有免费的也有收费的，当我拿到1套比较全的学习资源之前，我并没着急去看第1节，我而是去审视这套资源是否值得学习，有时候也会去问一些学长的意见，如果可以之后，我会对这套学习资源做1个学习计划，我的学习计划主要包括规划图和学习进度表。1.同第一步操作，点击左侧菜单栏的【连接管理】，然后点击右侧区域【连接列表】右上角的【创建连接】按钮，打开连接类型选择页面，然后选择 Kafka。2.在打开的连接信息配置页面依次输入需要的配置信息，配置完成后测试连接保存即可。
Flink实战 —— 读取Kafka数据并与MySQL数据关联【附源码】
认知 行动 坚持
09-02 2388
需要导入mysql驱动 <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>5.1.44</version> </dependency> mysql建立表及插入数据 D
SparkStreaming读取Kafka数据源并写入Mysql数据库
qq_45862976的博客
11-24 5407
SparkStreaming读取Kafka数据源并写入Mysql数据库 一、实验环境 本实验所用到的工具有 kafka_2.11-0.11.0.2； zookeeper-3.4.5； spark-2.4.8； Idea； MySQL5.7 什么是zookeeper？ zookeeper 主要是服务于分布式服务，可以用zookeeper来做：统一配置管理，统一命名服务，分布式锁，集群管理。使用分布式系统就无法避免对节点管理的问题（需要是实时感知节点的状态，对接点进行统一管理等等），而由于这些问题处理起来
高并发消费kafka数据存储到mysql
neusoft-mengxiaoming的专栏
03-17 1700
步骤：消费kafak->redis缓存数据->批量插入mysql package com.navinfo.opentsp.yiqi.kafka.service.impl; import com.alibaba.fastjson.JSON; import com.google.common.collect.Lists; import com.navinfo.opentsp.yiqi.kafka.mapper.FillingOilMapper; import com.navinfo.opent
kafka实验：生成流数据，订阅topic保存到mysql中
miya的博客
01-15 1590
一、 启动 启动zookeeper-server 启动 kafka server 创建topic 二、 python生成流数据并发布到对应topic """ Top Traffic Simulator """ from time import sleep, time, ctime from random import random, randint, choice from kafka import KafkaProducer producer = KafkaProducer(boot
Structured Streaming从Kafka 0.8中读取数据的问题
an7800666的博客
09-04 223
众所周知，Structured Streaming默认支持Kafka 0.10，没有提供针对Kafka 0.8的Connector，但这对高手来说不是事儿，于是有个Hortonworks的邵大牛（前段时间刚荣升Spark Committer）给出了一个开源的第三方解决方案： https://github.com/jerryshao/spark-kafka-0-8-sql...
Structured-Streaming+kafka流式处理
大数据行走论
04-20 1822
Maven项目配置spark Structured Streaming+kafka 结构化数据流中的关键思想是将实时数据流视为一个不断附加的表。这导致新的流处理模型与批处理模型非常相似。您将把流式计算表示为标准批量查询，就像在静态表上一样，Spark将它作为无界输入表上的增量查询来运行。让我们更详细地了解这个模型。基本概念将输入数据流视为“输入表”。每个到达流中的数据项就像一个新的行被添加到输入表...
streaming流实现kafka读写文件
欢迎大神交流讨论
11-10 1807
第一步首先需要导入meven包 这是我的pom文件 缺什么导什么吧没啥说的 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4....
Kettle手册
06-15
大数据ETL工具Kettle使用教程，中文教程，希望对大家有帮助
SparkStreaming_HBase:将从Kafka收集过来的数据保存到HBase中
04-20
SparkStreaming_HBase将从Kafka收集过来的数据保存到HBase中数据来源：日志生成器。 编写一个python工程，用于产生行为日志，每运行一次，产生所设定的数量数据，使用Linux的定时器，每隔60s执行一次，行为日志保存...
StormStorm集成Kafka 从Kafka中读取数据
03-12
Storm集成Kafka 一、整合说明 二、写入数据到Kafka 三、从Kafka中读取数据 从Kafka中读取数据 Storm从Kafka集群读取数据处理
代码：kafka数据接入到mysql中
03-06
代码：kafka数据接入到mysql中
structed streaming 读取kafka数据
剑雨江湖
03-26 1493
1、添加必要的maven依赖 <dependency> <groupId>org.scala-lang</groupId> <artifactId>scala-library</artifactId> <version>2.11</version> ...
kafka 保存到mysql_消费kafka的消息，并将其SparkStreaming结果保存到mysql
weixin_33557333的博客
01-19 781
将数据保存到mysql，需要用到jdbc。为了提高保存速度，我写了一个连接池1.保存到mysql的代码package test05import org.apache.log4j.{Level, Logger}import org.apache.spark.rdd.RDDimport org.apache.spark.sql.types._import org.apache.spark.sql._i...
go 连接 kafka 写 mysql
冰河世纪20的博客
02-18 1231
引言 上一篇中提到了，go 连接 kafka 进行消息的生产和消费过程。在这一篇中，将对 go 连接 kafka 写 mysql 进行简单的设计和实现。 本文主要针对的是 Mac 系统，如果使用其它操作系统，操作过程可能有所差异，请注意区别。 一、环境安装 可以根据上一篇的介绍搭建好 kafka，在这里不做赘述。 安装 mysql 我安装的是 mysql 的5.8版本，在 mysql 官网下载安装...
使用kafka定时获取接口的数据并存到mysql数据库
qq_38650808的博客
08-21 2532
一、搭建kafka集群 二、导入pom包 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter</artifactId> </dependency> <dependency> <
sparkstreaming《三》读取kafka数据，增量保存在mysql里
04-10
这个问题的意思是如何使用b'sparkstreaming\xe3\x80\x8a\xe4\xb8\x89\xe3\x80\x8b'来读取Kafka数据，并将增量存储在MySQL中。 首先需要使用Spark Streaming的Kafka Direct API来读取Kafka数据，然后将获得的数据转换为DataFrame或RDD。接下来将增量数据存储到MySQL中，可以使用Spark SQL或Dataframe APIs来实现。代码示例如下： ``` from pyspark.sql import SparkSession from pyspark.streaming import StreamingContext from pyspark.streaming.kafka import KafkaUtils from pyspark.sql.functions import * # 创建SparkSession spark = SparkSession.builder.appName("KafkaToMySQL").getOrCreate() # 创建StreamingContext ssc = StreamingContext(spark.sparkContext, batchDuration=5) # 设置Kafka参数 kafkaParams = {"bootstrap.servers": "localhost:9092", "group.id": "testGroup"} # 创建Kafka direct stream kafkaStream = KafkaUtils.createDirectStream(ssc, topics=["testTopic"], kafkaParams=kafkaParams) # 处理Kafka数据，并保存到MySQL def processBatch(batchTime, rdd): if not rdd.isEmpty(): # 转换为DataFrame df = spark.read.json(rdd) # 将时间戳转换为日期 df = df.withColumn("date", from_unixtime(col("timestamp"), "yyyy-MM-dd")) # 计算增量 incremental_data = df.groupBy("date").agg(sum("value").alias("incremental_value")) # 将增量数据写入MySQL incremental_data.write.format("jdbc").option("url", "jdbc:mysql://localhost/test").option("dbtable", "incremental_data").option("user", "root").option("password", "root").mode("append").save() # 处理每个批次 kafkaStream.foreachRDD(processBatch) # 启动StreamingContext ssc.start() ssc.awaitTermination() ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值