Spark-Streaming与Spark-Sql整合实现实时股票排行---通过kafka列队数据

最新推荐文章于 2024-07-03 10:54:11 发布

kwu_ganymede

最新推荐文章于 2024-07-03 10:54:11 发布

阅读量1w

点赞数 3

分类专栏： Spark

本文链接：https://blog.csdn.net/kwu_ganymede/article/details/50160793

版权

本文介绍了如何使用Spark-Streaming从Kafka队列中获取股票数据，并通过Spark-Sql进行处理，实现实时股票排行。首先，通过mvn构建工程并指定Spark1.4.1依赖。接着，利用createDirectStream从Kafka读取数据，将数据映射到POJO并注册为SparkSQL表。然后，定义UDF实现SQL函数，编写SQL查询实现股票排行。最后，将处理结果保存到MySQL数据库以供前端展示。代码示例为Scala版本。

摘要由CSDN通过智能技术生成

Spark-Streaming与Spark-Sql整合实现实时股票排行---通过kafka列队数据，前端数据通过 kafka队列传递，外层还有flume的实时收集。

1、mvn构建工程，指定好依赖的库，这里用的是spark1.4.1

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
	<modelVersion>4.0.0</modelVersion>

	<groupId>com.hexun</groupId>
	<artifactId>spark-streaming-java</artifactId>
	<version>0.0.1-SNAPSHOT</version>
	<packaging>jar</packaging>

	<name>spark-study-java</name>
	<url>http://maven.apache.org</url>

	<properties>
		<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
	</properties>

	<dependencies>
		<dependency>
			<groupId>junit</groupId>
			<artifactId>junit</artifactId>
			<version>3.8.1</version>
			<scope>test</scope>
		</dependency>
		<dependency>
			<groupId>org.apache.spark</groupId>
			<artifactId>spark-core_2.10</artifactId>
			<version>1.4.1</version>
		</dependency>
		<dependency>
			<groupId>org.apache.spark</groupId>
			<artifactId>spark-sql_2.10</artifactId>
			<version>1.4.1</version>
		</dependency>
		<dependency>
			<groupId>org.apache.spark</groupId>
			<artifactId>spark-hive_2.10</artifactId>
			<version>1.4.1</version>
		</dependency>
		<dependency>
			<groupId>org.apache.spark</groupId>
			<artifactId>spark-streaming_2.10</artifactId>
			<version>1.4.1</version>
		</dependency>
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-client</artifactId>
			<version>2.6.0</version>
		</dependency>
		<dependency>
			<groupId>org.apache.spark</groupId>
			<artifactId>spark-streaming-kafka_2.10</artifactId>
			<version>1.4.1</version>
		</dependency>
		<dependency>
			<groupId>mysql</groupId>
			<artifactI