Spark 高级数据源

最新推荐文章于 2024-08-22 09:40:31 发布
最新推荐文章于 2024-08-22 09:40:31 发布
阅读量371 收藏
点赞数
分类专栏： Spark 文章标签： 大数据 spark flume kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43520450/article/details/106166615
版权

Spark 高级数据源

一、Spark Streaming接收Flume数据

1.1 基于Flume的Push模式

Flume被用于在Flume agents之间推送数据.在这种方式下,Spark Streaming可以很方便的建立一个receiver,起到一个Avro agent的作用.Flume可以将数据推送到该receiver。

（1）第一步：Flume的配置文件

#bin/flume-ng agent -n a4 -f myagent/option_Push -c conf -Dflume.root.logger=INFO,console

#定义agent名， source、channel、sink的名称
a4.sources = r1
a4.channels = c1
a4.sinks = k1

#具体定义source
a4.sources.r1.type = spooldir
a4.sources.r1.spoolDir = /usr/local/tmp_files/logs

#具体定义channel
a4.channels.c1.type = memory
a4.channels.c1.capacity = 10000
a4.channels.c1.transactionCapacity = 100

#具体定义sink
a4.sinks = k1
a4.sinks.k1.type = avro
a4.sinks.k1.channel = c1
a4.sinks.k1.hostname = 192.168.1.121
a4.sinks.k1.port = 1234

#组装source、channel、sink
a4.sources.r1.channels = c1
a4.sinks.k1.channel = c1

内容解释：
在这里插入图片描述
（2）第二步：Spark Streaming程序

import org.apache.spark.SparkConf
import org.apache.spark.streaming.StreamingContext
import org.apache.spark.streaming.Seconds
import org.apache.spark.streaming.flume.FlumeUtils
import org.apache.spark.storage.StorageLevel

object FlumeLogPush {
  def main(args: Array[String]): Unit = {
  
   val conf = new SparkConf().setAppName("FlumeLogPush").setMaster("local[2]")
    val ssc = new StreamingContext(conf,Seconds(3))

    //创建flumeEvent的DStream
    val flumeEvent = FlumeUtils.createPollingStream(ssc, "192.168.1.121",1234, StorageLevel.MEMORY_ONLY)

    //将FlumeEvent中的事件转成字符串
    val lineDStream = flumeEvent.map(e => {
      new String(e.event.getBody.array)

    })

    //输出结果
    lineDStream.print()

    ssc.start()

    ssc.awaitTermination()


  }
}

（3）第三步：注意除了需要使用Flume的lib的jar包以外，还需要以下jar包：

链接：https://pan.baidu.com/s/1v7jhZ4A1tK-GKUNH-lCwHw
 提取码：5kw8

（4）第四步：测试

启动Spark Streaming程序
启动Flume
拷贝日志文件到/usr/local/tmp_files/logs目录
观察输出，采集到数据
在这里插入图片描述

1.2 基于Custom Sink的Pull模式

不同于Flume直接将数据推送到Spark Streaming中，第二种模式通过以下条件运行一个正常的Flume sink。Flume将数据推送到sink中，并且数据保持buffered状态。Spark Streaming使用一个可靠的Flume接收器和转换器从sink拉取数据。只要当数据被接收并且被Spark Streaming备份后，转换器才运行成功。

这样,与第一种模式相比,保证了很好的健壮性和容错能力。然而,这种模式需要为Flume配置一个正常的sink。

以下为配置步骤：

（1）第一步：Flume的配置文件

#bin/flume-ng agent -n a1 -f myagent/option_Pull -c conf -Dflume.root.logger=INFO,console
a1.channels = c1
a1.sinks = k1
a1.sources = r1

a1.sources.r1.type = spooldir
a1.sources.r1.spoolDir = /usr/local/tmp_files/logs

a1.channels.c1.type = memory
a1.channels.c1.capacity = 100000
a1.channels.c1.transactionCapacity = 100000

a1.sinks.k1.type = org.apache.spark.streaming.flume.sink.SparkSink
a1.sinks.k1.channel = c1
a1.sinks.k1.hostname = 192.168.1.121
a1.sinks.k1.port = 1234

#组装source、channel、sink
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

（2）第二步：Spark Streaming程序

import org.apache.spark.SparkConf
import org.apache.spark.streaming.StreamingContext
import org.apache.spark.streaming.Seconds
import org.apache.spark.streaming.flume.FlumeUtils
import org.apache.spark.storage.StorageLevel

object FlumeLogPull {
def main(args: Array[String]) {
  val conf = new SparkConf().setAppName("FlumeLogPull").setMaster("local[2]")
  val ssc = new StreamingContext(conf, Seconds(10))

  //创建FlumeEvent的DStream
  val flumeEvent = FlumeUtils.createPollingStream(ssc,"192.168.1.121",1234,StorageLevel.MEMORY_ONLY_SER_2)

  //将FlumeEvent中的事件转成字符串
  val lineDStream = flumeEvent.map( e => {
  new String(e.event.getBody.array)
})

  //输出结果
  lineDStream.print()

  ssc.start()
  ssc.awaitTermination();
}
}

（3）第三步：需要的jar包

将Spark的jar包拷贝到Flume的lib目录下

下面的这个jar包也需要拷贝到Flume的lib目录下，同时加入IDEA工程的classpath

链接：https://pan.baidu.com/s/1v7jhZ4A1tK-GKUNH-lCwHw
 提取码：5kw8

（4）第四步：测试

启动Flume

在IDEA中启动FlumeLogPull

将测试数据拷贝到/usr/local/tmp_files/logs

观察IDEA中的输出
在这里插入图片描述

二、Spark Streaming接收Kafka数据

Apache Kafka是一种高吞吐量的分布式发布订阅消息系统。
在这里插入图片描述

2.1 搭建ZooKeeper（Standalone）：

（1）配置/root/training/zookeeper-3.4.10/conf/zoo.cfg文件

dataDir=/root/training/zookeeper-3.4.10/tmp
server.1=spark81:2888:3888

（2）在/root/training/zookeeper-3.4.10/tmp目录下创建一个myid的空文件

echo 1 > /root/training/zookeeper-3.4.6/tmp/myid

2.2 搭建Kafka环境（单机单broker）：

（1）修改server.properties文件
在这里插入图片描述
（2）启动Kafka

bin/kafka-server-start.sh config/server.properties &

出现以下错误：
在这里插入图片描述

（3）测试Kafka

//创建Topic
bin/kafka-topics.sh --create --zookeeper spark81:2181
-replication-factor 1 --partitions 3 --topic mydemo1

//发送消息
bin/kafka-console-producer.sh --broker-list spark81:9092 --topic mydemo1

//接收消息
bin/kafka-console-consumer.sh --zookeeper spark81:2181 --topic mydemo1

2.3 搭建Spark Streaming和Kafka的集成开发环境

由于Spark Streaming和Kafka集成的时候，依赖的jar包比较多，而且还会产生冲突。强烈建议使用Maven的方式来搭建项目工程。

下面是依赖的pom.xml文件：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>

<groupId>ZDemo5</groupId>
<artifactId>ZDemo5</artifactId>
<version>1.0-SNAPSHOT</version>

<properties>
<spark.version>2.1.0</spark.version>
<scala.version>2.11</scala.version>
</properties>

<dependencies>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_${scala.version}</artifactId>
<version>${spark.version}</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-streaming_${scala.version}</artifactId>
<version>${spark.version}</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-sql_${scala.version}</artifactId>
<version>${spark.version}</version>
</dependency>

<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-streaming-kafka-0-8_2.11</artifactId>
<version>2.1.1</version>
</dependency>
</dependencies>

</project>

2.4 基于Receiver的方式

这个方法使用了Receivers来接收数据。Receivers的实现使用到Kafka高层次的消费者API。对于所有的Receivers，接收到的数据将会保存在Spark executors中，然后由Spark Streaming启动的Job来处理这些数据。
在这里插入图片描述

（1）开发Spark Streaming的Kafka Receivers

import org.apache.spark.SparkConf
import org.apache.spark.streaming.kafka.KafkaUtils
import org.apache.spark.streaming.{Seconds, StreamingContext}

object KafkaWordCount {
  def main(args: Array[String]) {
    val conf = new SparkConf().setAppName("KafkaWordCount").setMaster("local[2]")
    val ssc = new StreamingContext(conf, Seconds(10))

    //创建topic名称，1表示一次从这个topic中获取一条记录
    val topics = Map("mydemo1" -> 1)

    //创建Kafka的输入流，指定ZooKeeper的地址
    val kafkaStream = KafkaUtils.createStream(ssc,"192.168.1.121:2181","mygroup",topics)

    //处理每次接收到的数据
    val lineDStream = kafkaStream.map(e => {
      new String(e.toString())
    })
    //输出结果
    lineDStream.print()

    ssc.start()
    ssc.awaitTermination();
  }
}

（2）测试

启动Kafka消息的生产者

bin/kafka-console-producer.sh --broker-list spark81:9092 --topic mydemo1

在IDEA中启动任务，接收Kafka消息
在这里插入图片描述

2.5 直接读取方式

和基于Receiver接收数据不一样，这种方式定期地从Kafka的topic+partition中查询最新的偏移量，再根据定义的偏移量范围在每个batch里面处理数据。当作业需要处理的数据来临时，spark通过调用Kafka的简单消费者API读取一定范围的数据。
在这里插入图片描述

（1）开发Spark Streaming的程序

import kafka.serializer.StringDecoder
import org.apache.spark.SparkConf
import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.streaming.kafka.KafkaUtils

object DirectKafkaWordCount {
  def main(args: Array[String]) {
    val conf = new SparkConf().setAppName("DirectKafkaWordCount").setMaster("local[2]")
    val ssc = new StreamingContext(conf, Seconds(10))

    //创建topic名称，1表示一次从这个topic中获取一条记录
    val topics = Set("mydemo1")
    //指定Kafka的broker地址
    val kafkaParams = Map[String, String]("metadata.broker.list" -> "192.168.1.121:9092")

    //创建DStream，接收Kafka的数据
    val kafkaStream = KafkaUtils.createDirectStream[String, String, StringDecoder, StringDecoder](ssc, kafkaParams, topics)

    //处理每次接收到的数据
    val lineDStream = kafkaStream.map(e => {
      new String(e.toString())
    })
    //输出结果
    lineDStream.print()

    ssc.start()
    ssc.awaitTermination();
  }
}

（2）测试

启动Kafka消息的生产者

bin/kafka-console-producer.sh --broker-list spark81:9092 --topic mydemo1

在IDEA中启动任务，接收Kafka消息
在这里插入图片描述

Spark基础学习笔记33：Spark Streaming数据源
howard2005的专栏
05-18 883
基本数据源、高级数据源
使用Flume作为Spark Streaming数据源
weixin_45607431的博客
12-16 2792
使用Flume作为Spark Streaming数据源 一、实验目的 （1）通过实验学习日志采集工具Flume的安装和使用方法； （2）掌握采用Flume作为Spark Streaming数据源的编程方法。 二、实验平台 操作系统：CentOS Spark版本：2.4.7 Flume版本：1.7.0 三、实验内容和要求 1.安装Flume 解压安装包 tar -zxvf apache-flume-1.7.0-bin.tar.gz -C /opt ln -sv apache-flume-1.7.0-bin
Spark SQL常见4种数据源详解
01-19
通用load/write方法 手动指定选项 Spark SQL的DataFrame接口支持多种数据源的操作。一个DataFrame可以进行RDDs方式的操作，也可以被注册为临时表。把DataFrame注册为临时表之后，就可以对该DataFrame执行SQL查询。 Spark SQL的默认数据源为Parquet格式。数据源为Parquet文件时，Spark SQL可以方便的执行所有的操作。 修改配置项spark.sql.sources.default，可修改默认数据源格式。 scala> val df = spark.read.load(hdfs://hadoop001:9000/nam
spark数据源
曾哥的博客
04-10 1114
数据源分类 spark中支持多种数据源(jdbc、parquet、csv、json等)，所以在可以读取多种类型的数据源。 csv格式的数据源，他的默认分隔符是","，可以使用Excel来打开，但是会出现数据乱码(因为CSV中不同操作系统的字符编码不一致)；可以使用一下方式解决：https://jingyan.baidu.com/article/4dc408484776fbc8d846f168.h...
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源：JSON、CSV、JDBC、Hive
最新发布
永远好奇，无限进步！
08-22 6028
上节研究了SparkSQL的核心操作，Action详细解释+测试案例，与Transformation详细解释+测试案例。本节研究SparkSQL的数据源操作，输入与输出数据。df.write.format(“jdbc”).option(“url”, “jdbc:mysql://host/db”).option(“dbtable”, “table”).option(“user”, “username”).option(“password”, “password”).save()
Spark Streaming：高级数据源
Movle
05-17 340
目录 一.Spark Streaming接收Flume数据     1.基于Flume的Push模式     2.基于Custom Sink的Pull模式 二.Spark Streaming接收Kafka数据     1.搭建ZooKeeper（Standalone）：     2.搭建Kafka环境(单机单broker)：  &nbsp.
Spark SQL常见4种数据源(详细)
06-21 2683
通用load/write方法 手动指定选项 Spark SQL的DataFrame接口支持多种数据源的操作。一个DataFrame可以进行RDDs方式的操作，也可以被注册为临时表。把DataFrame注册为临时表之后，就可以对该DataFrame执行SQL查询。 Spark SQL的默认数据源为Parquet格式。数据源为Parquet文件时，Spark SQL可以方便的执行所有的操作。 修改配置...
SparkSQL之数据源
weixin_30641999的博客
10-07 99
准备json文件： cat /root/1.json {"name":"Michael"} {"name":"Andy", "age":30} {"name":"Justin", "age":19} 可以尝试传统方法： val people = sqlContext.read.json("file:///root/1.json"); people.printSch...
2.2、Dstreams数据源之高级数据源
weixin_30824277的博客
10-24 80
kafka和sparkstreaming集成 1、启动zk 2、启动kafka集群 转载于:https://www.cnblogs.com/lybpy/p/9846708.html
Spark Streaming（三）—— 高级数据源Flume
分享AI工具/AI副业玩法
03-13 644
Spark Streaming 是一个流式计算引擎，就需要对接外部数据源来对接、接收数据。每一个输入流DStream和一个Receiver对象相关联，这个Receiver从源中获取数据，并将数据存入内存中用于处理。Spark Streaming的基本数据源（文件流、RDD队列流、套接字流）上篇已经介绍过了，而Spark Streaming的高级数据流主要有Kafka，Flume，Kinesis，Twitter等。本文主要介绍Flume作为高级数据源的使用。
SparkSQL外部数据源
weixin_42947670的博客
09-13 744
Spark SQL 外部数据源 一、简介         1.1 多数据源支持         1.2 读数据格式         1.3 写数据格式 二、CSV         2.1 读
大数据Spark外部数据源
赵广陆
03-14 568
目录1 HBase 数据源1.1 HBase Sink1.2 HBase Source2 MySQL 数据源3 SHC 操作Hbase基本使用3.1 生成 JSON 1 HBase 数据源 Spark可以从外部存储系统读取数据，比如RDBMs表中或者HBase表中读写数据，这也是企业 中常常使用，如下两个场景： 1）、要分析的数据存储在HBase表中，需要从其中读取数据数据分析 日志数据：电商网站的商家操作日志 订单数据：保险行业订单数据 2）、使用Spark进行离线分析以后，往往将报表结果保存
SparkSQL-数据源
上海一九四三
08-21 1028
Spark SQL的DataFrame接口支持多种数据源的操作。一个DataFrame可以进行RDDs方式的操作，也可以被注册为临时表。把DataFrame注册为临时表之后，就可以对该DataFrame执行SQL查询。Data Sources这部分首先描述了对Spark的数据源执行加载和保存的常用方法，然后对内置数据源进行深入介绍。 一、一般Load/Save方法 Spark SQL的默认数据...
Spark SQL数据源：JDBC
梁辰兴的博客
06-14 3745
Spark SQL还可以使用JDBC API从其他关系型数据库读取数据，返回的结果仍然是一个DataFrame，可以很容易地在Spark SQL中处理，或者与其他数据源进行连接查询。执行上述命令（dbtable属性的值是一个子查询，相当于SQL查询中的FROM关键字后的一部分）注意：Spark 2.4.0开始的Spark SQL的JDBC属性里才有query属性。将数据帧内容以jdbc格式写入数据库spark_db的test表。查看结果数据帧内容，执行命令：resultDF.show()
Spark SQL之数据源
FBB360JAVA的博客
02-07 1043
前言 本篇文章来源于官方文档。 Spark SQL 通过 DataFrame 接口支持操作各种数据源。一个 DataFrame 能够通过使用关系转换和创建临时视图来操作数据。当你使用临时视图注册一个 DataFrame 时，你可以在这数据上运行 SQL 查询。 注意，本文中的完整代码和所需的资源文件如下 【官方案例】SQLDataSourceExample.scala 资源文件 通用的读取、保存函...
spark-RDD-所有的Source数据源(超级详细)
互联网知识分享
05-14 220
是指本地,不会跑集群(即便master/work没有启动都可以运行,因为更集群是没有关系的)(local[*]只是通过最大的多线程模拟了集群而已,local[5]表示启动5个线程,但不算真正跑集群)。如果要打jar提交到集群记得.setMaster("local[*]")要注释掉,因为这个是测试用的(多线程模拟了集群而已)，不注释就要写 spark//ip:端口, 具体原因参考前面笔记。但是第二次使用切割就不一样的了 .map(_.split(" ")) 是不会影响原来的行的切割的。
Spark 外部数据源
zghgchao
12-27 778
External Data Sources rdbms，need JDBC jarsParquet、Phoenix、CSV、avro etc 已使用avro外部数据源为例： 参考【https://spark-packages.org/】这data Sources部分 With spark-shell or spark-submit $ bin/spark-shel
精通Apache Spark高级分析
本资料“Mastering Advanced Analytics with Apache Spark”聚焦于Spark 1.4版本中的高级分析特性，旨在帮助用户深入理解Spark的各个组件以及它们在不同应用场景下的功能。 Spark的核心组件包括Spark Core、Spark ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值