Spark 高级数据源

最新推荐文章于 2023-06-14 17:04:39 发布
最新推荐文章于 2023-06-14 17:04:39 发布
阅读量338 收藏
点赞数
分类专栏： Spark 文章标签： 大数据 spark flume kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43520450/article/details/106166615
版权

Spark 高级数据源

一、Spark Streaming接收Flume数据

1.1 基于Flume的Push模式

Flume被用于在Flume agents之间推送数据.在这种方式下,Spark Streaming可以很方便的建立一个receiver,起到一个Avro agent的作用.Flume可以将数据推送到该receiver。

（1）第一步：Flume的配置文件

#bin/flume-ng agent -n a4 -f myagent/option_Push -c conf -Dflume.root.logger=INFO,console

#定义agent名， source、channel、sink的名称
a4.sources = r1
a4.channels = c1
a4.sinks = k1

#具体定义source
a4.sources.r1.type = spooldir
a4.sources.r1.spoolDir = /usr/local/tmp_files/logs

#具体定义channel
a4.channels.c1.type = memory
a4.channels.c1.capacity = 10000
a4.channels.c1.transactionCapacity = 100

#具体定义sink
a4.sinks = k1
a4.sinks.k1.type = avro
a4.sinks.k1.channel = c1
a4.sinks.k1.hostname = 192.168.1.121
a4.sinks.k1.port = 1234

#组装source、channel、sink
a4.sources.r1.channels = c1
a4.sinks.k1.channel = c1

内容解释：
在这里插入图片描述
（2）第二步：Spark Streaming程序

import org.apache.spark.SparkConf
import org.apache.spark.streaming.StreamingContext
import org.apache.spark.streaming.Seconds
import org.apache.spark.streaming.flume.FlumeUtils
import org.apache.spark.storage.StorageLevel

object FlumeLogPush {
  def main(args: Array[String]): Unit = {
  
   val conf = new SparkConf().setAppName("FlumeLogPush").setMaster("local[2]")
    val ssc = new StreamingContext(conf,Seconds(3))

    //创建flumeEvent的DStream
    val flumeEvent = FlumeUtils.createPollingStream(ssc, "192.168.1.121",1234, StorageLevel.MEMORY_ONLY)

    //将FlumeEvent中的事件转成字符串
    val lineDStream = flumeEvent.map(e => {
      new String(e.event.getBody.array)

    })

    //输出结果
    lineDStream.print()

    ssc.start()

    ssc.awaitTermination()


  }
}

（3）第三步：注意除了需要使用Flume的lib的jar包以外，还需要以下jar包：

链接：https://pan.baidu.com/s/1v7jhZ4A1tK-GKUNH-lCwHw
 提取码：5kw8

（4）第四步：测试

启动Spark Streaming程序
启动Flume
拷贝日志文件到/usr/local/tmp_files/logs目录
观察输出，采集到数据
在这里插入图片描述

1.2 基于Custom Sink的Pull模式

不同于Flume直接将数据推送到Spark Streaming中，第二种模式通过以下条件运行一个正常的Flume sink。Flume将数据推送到sink中，并且数据保持buffered状态。Spark Streaming使用一个可靠的Flume接收器和转换器从sink拉取数据。只要当数据被接收并且被Spark Streaming备份后，转换器才运行成功。

这样,与第一种模式相比,保证了很好的健壮性和容错能力。然而,这种模式需要为Flume配置一个正常的sink。

以下为配置步骤：

（1）第一步：Flume的配置文件

#bin/flume-ng agent -n a1 -f myagent/option_Pull -c conf -Dflume.root.logger=INFO,console
a1.channels = c1
a1.sinks = k1
a1.sources = r1

a1.sources.r1.type = spooldir
a1.sources.r1.spoolDir = /usr/local/tmp_files/logs

a1.channels.c1.type = memory
a1.channels.c1.capacity = 100000
a1.channels.c1.transactionCapacity = 100000

a1.sinks.k1.type = org.apache.spark.streaming.flume.sink.SparkSink
a1.sinks.k1.channel = c1
a1.sinks.k1.hostname = 192.168.1.121
a1.sinks.k1.port = 1234

#组装source、channel、sink
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

（2）第二步：Spark Streaming程序

import org.apache.spark.SparkConf
import org.apache.spark.streaming.StreamingContext
import org.apache.spark.streaming.Seconds
import org.apache.spark.streaming.flume.FlumeUtils
import org.apache.spark.storage.StorageLevel

object FlumeLogPull {
def main(args: Array[String]) {
  val conf = new SparkConf().setAppName("FlumeLogPull").setMaster("local[2]")
  val ssc = new StreamingContext(conf, Seconds(10))

  //创建FlumeEvent的DStream
  val flumeEvent = FlumeUtils.createPollingStream(ssc,"192.168.1.121",1234,StorageLevel.MEMORY_ONLY_SER_2)

  //将FlumeEvent中的事件转成字符串
  val lineDStream = flumeEvent.map( e => {
  new String(e.event.getBody.array)
})

  //输出结果
  lineDStream.print()

  ssc.start()
  ssc.awaitTermination();
}
}

（3）第三步：需要的jar包

将Spark的jar包拷贝到Flume的lib目录下

下面的这个jar包也需要拷贝到Flume的lib目录下，同时加入IDEA工程的classpath

链接：https://pan.baidu.com/s/1v7jhZ4A1tK-GKUNH-lCwHw
 提取码：5kw8

（4）第四步：测试

启动Flume

在IDEA中启动FlumeLogPull

将测试数据拷贝到/usr/local/tmp_files/logs

观察IDEA中的输出
在这里插入图片描述

二、Spark Streaming接收Kafka数据

Apache Kafka是一种高吞吐量的分布式发布订阅消息系统。
在这里插入图片描述

2.1 搭建ZooKeeper（Standalone）：

（1）配置/root/training/zookeeper-3.4.10/conf/zoo.cfg文件

dataDir=/root/training/zookeeper-3.4.10/tmp
server.1=spark81:2888:3888

（2）在/root/training/zookeeper-3.4.10/tmp目录下创建一个myid的空文件

echo 1 > /root/training/zookeeper-3.4.6/tmp/myid

2.2 搭建Kafka环境（单机单broker）：

（1）修改server.properties文件
在这里插入图片描述
（2）启动Kafka

bin/kafka-server-start.sh config/server.properties &

出现以下错误：
在这里插入图片描述

（3）测试Kafka

//创建Topic
bin/kafka-topics.sh --create --zookeeper spark81:2181
-replication-factor 1 --partitions 3 --topic mydemo1

//发送消息
bin/kafka-console-producer.sh --broker-list spark81:9092 --topic mydemo1

//接收消息
bin/kafka-console-consumer.sh --zookeeper spark81:2181 --topic mydemo1

2.3 搭建Spark Streaming和Kafka的集成开发环境

由于Spark Streaming和Kafka集成的时候，依赖的jar包比较多，而且还会产生冲突。强烈建议使用Maven的方式来搭建项目工程。

下面是依赖的pom.xml文件：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>

<groupId>ZDemo5</groupId>
<artifactId>ZDemo5</artifactId>
<version>1.0-SNAPSHOT</version>

<properties>
<spark.version>2.1.0</spark.version>
<scala.version>2.11</scala.version>
</properties>

<dependencies>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_${scala.version}</artifactId>
<version>${spark.version}</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-streaming_${scala.version}</artifactId>
<version>${spark.version}</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-sql_${scala.version}</artifactId>
<version>${spark.version}</version>
</dependency>

<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-streaming-kafka-0-8_2.11</artifactId>
<version>2.1.1</version>
</dependency>
</dependencies>

</project>

2.4 基于Receiver的方式

这个方法使用了Receivers来接收数据。Receivers的实现使用到Kafka高层次的消费者API。对于所有的Receivers，接收到的数据将会保存在Spark executors中，然后由Spark Streaming启动的Job来处理这些数据。
在这里插入图片描述

（1）开发Spark Streaming的Kafka Receivers

import org.apache.spark.SparkConf
import org.apache.spark.streaming.kafka.KafkaUtils
import org.apache.spark.streaming.{Seconds, StreamingContext}

object KafkaWordCount {
  def main(args: Array[String]) {
    val conf = new SparkConf().setAppName("KafkaWordCount").setMaster("local[2]")
    val ssc = new StreamingContext(conf, Seconds(10))

    //创建topic名称，1表示一次从这个topic中获取一条记录
    val topics = Map("mydemo1" -> 1)

    //创建Kafka的输入流，指定ZooKeeper的地址
    val kafkaStream = KafkaUtils.createStream(ssc,"192.168.1.121:2181","mygroup",topics)

    //处理每次接收到的数据
    val lineDStream = kafkaStream.map(e => {
      new String(e.toString())
    })
    //输出结果
    lineDStream.print()

    ssc.start()
    ssc.awaitTermination();
  }
}

（2）测试

启动Kafka消息的生产者

bin/kafka-console-producer.sh --broker-list spark81:9092 --topic mydemo1

在IDEA中启动任务，接收Kafka消息
在这里插入图片描述

2.5 直接读取方式

和基于Receiver接收数据不一样，这种方式定期地从Kafka的topic+partition中查询最新的偏移量，再根据定义的偏移量范围在每个batch里面处理数据。当作业需要处理的数据来临时，spark通过调用Kafka的简单消费者API读取一定范围的数据。
在这里插入图片描述

（1）开发Spark Streaming的程序

import kafka.serializer.StringDecoder
import org.apache.spark.SparkConf
import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.streaming.kafka.KafkaUtils

object DirectKafkaWordCount {
  def main(args: Array[String]) {
    val conf = new SparkConf().setAppName("DirectKafkaWordCount").setMaster("local[2]")
    val ssc = new StreamingContext(conf, Seconds(10))

    //创建topic名称，1表示一次从这个topic中获取一条记录
    val topics = Set("mydemo1")
    //指定Kafka的broker地址
    val kafkaParams = Map[String, String]("metadata.broker.list" -> "192.168.1.121:9092")

    //创建DStream，接收Kafka的数据
    val kafkaStream = KafkaUtils.createDirectStream[String, String, StringDecoder, StringDecoder](ssc, kafkaParams, topics)

    //处理每次接收到的数据
    val lineDStream = kafkaStream.map(e => {
      new String(e.toString())
    })
    //输出结果
    lineDStream.print()

    ssc.start()
    ssc.awaitTermination();
  }
}

（2）测试

启动Kafka消息的生产者

bin/kafka-console-producer.sh --broker-list spark81:9092 --topic mydemo1

在IDEA中启动任务，接收Kafka消息
在这里插入图片描述

故明所以
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark Web UI详解
qq_27639777的博客
07-16 2万+
Spark Web UI是学习调试spark任务的入口，查看spark UI任务日志也是一项必备技能。但在几番搜索后，一直没能找到全面详细地对如何查看spark Web UI方法的文章，故在查看资料及个人理解的基础上整理了本篇文章，欢迎大家一起交流学习！ 下面对spark Web UI的各tab页分别进行介绍： 1. Jobs 在提交spark任务运行后，日志中会输出tracking UR...
hadoop配置
qq_58151490的博客
11-24 694
【root下】 cd 桌面 cd Softwore tar xzvf jdk-...... -C /opt tar xzvf hadoop-...... -C /opt tar xzvf zookeeper-...... -C /opt tar xzvf apache-flume-...... -C /opt tar xzvf apache-hive-..... -C /opt tar xzvf hbase-.... -C /opt tar xzvf
spark sql（六）sparksql自定义数据源
Interest1_wyt的博客
03-19 1522
sparksql通过DataSourceRegister查找规则实现自定义hbase数据源
Spark SQL数据源：JDBC
最新发布
梁辰兴的博客
06-14 3506
Spark SQL还可以使用JDBC API从其他关系型数据库读取数据，返回的结果仍然是一个DataFrame，可以很容易地在Spark SQL中处理，或者与其他数据源进行连接查询。执行上述命令（dbtable属性的值是一个子查询，相当于SQL查询中的FROM关键字后的一部分）注意：Spark 2.4.0开始的Spark SQL的JDBC属性里才有query属性。将数据帧内容以jdbc格式写入数据库spark_db的test表。查看结果数据帧内容，执行命令：resultDF.show()
Spark大数据处理讲课笔记4.6 Spark SQL数据源 - JDBC
ting_tu_ran_de的博客
06-09 488
若希望查询部分数据或多表关联查询，则可以使用SQL查询的FROM子句中有效的任何内容，例如放入括号中的子查询。当需要指定partitionColumn属性时，可以使用dbtable属性指定子查询，并使用子查询的别名对分区列进行限定。Spark SQL还可以使用JDBC API从其他关系型数据库读取数据，返回的结果仍然是一个DataFrame，可以很容易地在Spark SQL中处理，或者与其他数据源进行连接查询。执行上述命令（dbtable属性的值是一个子查询，相当于SQL查询中的FROM关键字后的一部分）
Spark SQL数据源-基本操作
new_renren的博客
05-31 377
默认情况下，load()方法和save()方法只支持Parquet格式的文件，Parquet文件是以二进制方式存储数据的，因此不可以直接读取，文件中包括该文件的实际数据和Schema信息，也可以在配置文件中通过参数spark.sql.sources.default对默认文件格式进行更改。除了使用select()方法查询外，也可以使用SparkSession对象的sql()方法执行SQL语句进行查询，该方法的返回结果仍然是一个DataFrame。
spark 高级数据分析
06-11
对Spark 这个技术，国内研究比较多的是原理和源代码，而许多客户抱怨Spark 应用 落地难。造成这一现象的一个主要原因是Spark 技术比较新，许多应用还处在探索阶段。 Cloudera 公司作为全球大数据领域的领头羊，在给...
Spark SQL数据源的基本操作
梁辰兴的博客
06-13 2255
使用format()方法可以手动指定数据源。数据源需要使用完全限定名（例如org.apache.spark.sql.parquet），但对于Spark SQL的内置数据源，也可以使用它们的缩写名（JSON、Parquet、JDBC、ORC、Libsvm、CSV、Text）。通过手动指定数据源，可以将DataFrame数据集保存为不同的文件格式或者在不同的文件格式之间转换。在指定数据源的同时，可以使用option()方法向指定的数据源传递所需参数。例如，向JDBC数据源传递账号、密码等参数。
spark-RDD-所有的Source数据源(超级详细)
互联网知识分享
05-14 179
是指本地,不会跑集群(即便master/work没有启动都可以运行,因为更集群是没有关系的)(local[*]只是通过最大的多线程模拟了集群而已,local[5]表示启动5个线程,但不算真正跑集群)。如果要打jar提交到集群记得.setMaster("local[*]")要注释掉,因为这个是测试用的(多线程模拟了集群而已)，不注释就要写 spark//ip:端口, 具体原因参考前面笔记。但是第二次使用切割就不一样的了 .map(_.split(" ")) 是不会影响原来的行的切割的。
大数据笔记--Spark（第四篇）
我睡觉的时候不困
04-04 2588
一、RDD的容错机制 二、RDD持久化机制 1、RDD持久化（缓存） 2、使用缓存 3、缓存数据的清除 4、持久化理解 三、CheckPoint机制 1、概述 2、示例代码： 3、总结 4、Saprk懒执行的意义 四、GC回收机制及算法 1、概述 2、哪些内存数据需要被回收？ Ⅰ、引用计数法判定 Ⅱ、可达性分析法 3、常见的垃圾回收算法 Ⅰ、标记-清除算法 Ⅱ、复制算法 Ⅲ、标记-整理算法 Ⅳ、分代收集算法 五、GC收集器 1、概述 2、Serial系列收集器
Spark SQL之数据源
FBB360JAVA的博客
02-07 923
前言 本篇文章来源于官方文档。 Spark SQL 通过 DataFrame 接口支持操作各种数据源。一个 DataFrame 能够通过使用关系转换和创建临时视图来操作数据。当你使用临时视图注册一个 DataFrame 时，你可以在这数据上运行 SQL 查询。 注意，本文中的完整代码和所需的资源文件如下 【官方案例】SQLDataSourceExample.scala 资源文件 通用的读取、保存函...
大数据实时处理4.2 Spark SQL数据源 - 基本操作
m0_73706260的博客
05-25 333
使用format()方法可以手动指定数据源。数据源需要使用完全限定名（例如），但对于Spark SQL的内置数据源，也可以使用它们的缩写名（JSON、Parquet、JDBC、ORC、Libsvm、CSV、Text）。通过手动指定数据源，可以将DataFrame数据集保存为不同的文件格式或者在不同的文件格式之间转换。在指定数据源的同时，可以使用option()方法向指定的数据源传递所需参数。例如，向JDBC数据源传递账号、密码等参数。
spark数据源
曾哥的博客
04-10 1027
数据源分类 spark中支持多种数据源(jdbc、parquet、csv、json等)，所以在可以读取多种类型的数据源。 csv格式的数据源，他的默认分隔符是","，可以使用Excel来打开，但是会出现数据乱码(因为CSV中不同操作系统的字符编码不一致)；可以使用一下方式解决：https://jingyan.baidu.com/article/4dc408484776fbc8d846f168.h...
Spark SQL数据源 - 基本操作
lookqinghuaci的博客
06-16 756
使用默认数据源和手动指定数据源
spark sql（五）sparksql支持查询哪些数据源，查询hive与查询mysql的区别
Interest1_wyt的博客
03-04 3000
sparksql支持查询的数据源类型，以及查询mysql和查询hive的源码过程简析
SparkSQL系列-6、外部数据源 DataSource？
不积跬步无以至千里，不积小流无以成江河
08-19 901
SparkSQL如何读取或者保存到外部数据源？
Spark SQL操作数据源
m0_57781407的博客
09-09 1320
一、操作MySql二、操作HIVE数据库①准备环境②创建表类型③插入数据④Spark SQL 操作Hive数据库①Spark读取MySqlStep1 登录SQLStep2 创建数据库，并选择数据库Step3 创建表Step4 插入数据到表中。
Spark简介
qq_56870570的博客
09-22 495
简介 Spark 于 2009 年诞生于加州大学伯克利分校 AMPLab，2013 年被捐赠给 Apache 软件基金会，2014 年 2 月成为 Apache 的顶级项目。相对于 MapReduce 的批处理计算，Spark 可以带来上百倍的性能提升，因此它成为继 MapReduce 之后，最为广泛使用的分布式计算框架。 ...
自定义Spark的外部数据源
lk2015的博客
03-22 1878
自定义Spark的外部数据源读取文件建立scala工程自定义数据源BaseRelationRelationProviderTableScan Spark提供了自定义外部数据源的功能，可以根据自身需要自定义数据读取获取dataframe，写法是 val df = spark.sqlContext.read.format(“com.spark.datasource”) .option("",) .op...
Spark Streaming 程序处理流数据
05-31
Spark Streaming 是一种实时数据处理框架，它能够处理来自多个数据源的数据流。Spark Streaming 通过将实时数据流划分成一系列小的批次来处理数据，每个批次都可以作为一个 RDD 进行处理。Spark Streaming 支持多种...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值