Spark2.x 快速入门教程 6

最新推荐文章于 2024-06-18 02:09:28 发布
最新推荐文章于 2024-06-18 02:09:28 发布
阅读量925 收藏
点赞数
分类专栏： 实验楼课程 文章标签： spark flume

Spark Streaming 整合 Flume

一、实验介绍

1.1 实验内容

Flume 是非常流行的日志采集系统，可以作为 DStream 的高级数据源，本节实验将介绍如何让 Flume 推送消息给 Spark Streaming，然后 Spark Streaming 收到消息后进行处理。

1.2 先学课程

Hadoop入门进阶课程：https://www.shiyanlou.com/courses/237

1.3 实验知识点

  • Flume agent
  • Spark Streaming

1.4 实验环境

  • spark-2.1.0-bin-hadoop2.6

  • Xfce 终端

1.5 适合人群

本课程属于初级难度级别，适合具有 Spark 基础的用户，如果对 Streaming 了解能够更好的上手本课程。

二、实验步骤

2.1　准备工作

双击打开桌面上的 Xfce 终端，用 sudo 命令切换到 hadoop 用户，hadoop 用户密码为 hadoop，用 cd 命令进入 /opt目录，因为用的本地的环境，可以不用启动任何进程也可以完成本节实验。

$ su hadoop
$ cd /opt/
$ jps

此处输入图片的描述

2.2 Flume 的安装和准备工作

您可以通过下面命令将 Flume 下载到实验楼环境中，进行安装配置。

$ sudo wget http://labfile.oss.aliyuncs.com/courses/785/apache-flume-1.6.0-bin.tar.gz
$ sudo tar -zxvf apache-flume-1.6.0-bin.tar.gz

此处输入图片的描述

修改 flume-env.sh

$ cd apache-flume-1.6.0-bin/conf/
$ sudo cp flume-env.sh.template  flume-env.sh   
$ sudo vi flume-env.sh

此处输入图片的描述

flume-env.sh文件需修改内容：

export JAVA_HOME=/usr/lib/jvm/java-8-oracle
# Give Flume more memory and pre-allocate, enable remote monitoring via JMX
export JAVA_OPTS="-Xms100m -Xmx2000m -Dcom.sun.management.jmxremote"

此处输入图片的描述

创建 flume_push_spark 目录，并授权。

$ sudo mkdir /opt/flume_push_spark
$ sudo chmod 777 -R /opt/

此处输入图片的描述

在 /conf 创建 agent 的配置文件 flume-push-spark.properties。

$ sudo vi flume-push-spark.properties
# 添加如下内容

# Name the components on this agent
a1.sources=r1
a1.sinks=k1
a1.channels=c1

# Describe/configure the source
a1.sources.r1.type=spooldir
a1.sources.r1.spoolDir=/opt/flume_push_spark
a1.sources.r1.fileHeader = false
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = timestamp

# Use a channel 
a1.channels.c1.type=file
a1.channels.c1.checkpointDir=/opt/logs_tmp_cp
a1.channels.c1.dataDirs=/opt/logs_tmp

# Describe the sink
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = localhost
a1.sinks.k1.port = 9999

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

此处输入图片的描述

上面的配置文件中，我们把 Flume Source 类别设置为 spooldir，

同时，我们把 Flume Sink 类别设置为 avro，绑定到 localhost 的 9999 端口，这样，Flume Source把该目录下的消息汇集到 Flume Sink以后推送给 localhost 的 9999 端口，而我们编写的 Spark Streaming 程序一直在监听 localhost 的 9999 端口，一旦有消息到达，就会被 Spark Streaming 应用程序取走进行处理。

2.3 代码实现

1). 创建 maven 项目

双击桌面上的图标打开 Scala IDE -> OK。

此处输入图片的描述

再次点击 Ok。

此处输入图片的描述

点击 File -> New ->Other

此处输入图片的描述

搜索 maven -> 点击 Maven Project -> Next

此处输入图片的描述

继续点击 Next

此处输入图片的描述

选中 "quickstart" -> Next

此处输入图片的描述

输入 "Group Id"， "Artifact Id"， " Package" -> Finish 。

此处输入图片的描述

点击 spark 项目 -> 修改 pom.xml -> 保存后会自动下载 jar 包

此处输入图片的描述

#添加如下内容并保存
<dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-core_2.10</artifactId>
      <version>1.5.1</version>
    </dependency>
    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-sql_2.10</artifactId>
      <version>1.5.1</version>
      </dependency>
    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-hive_2.10</artifactId>
      <version>1.5.1</version>
    </dependency>
    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-streaming_2.10</artifactId>
      <version>1.5.1</version>
    </dependency>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-client</artifactId>
      <version>2.6.1</version>
    </dependency>
    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-streaming-kafka_2.10</artifactId>    
      <version>1.5.1</version>
    </dependency>
    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-streaming-flume_2.10</artifactId>    
      <version>1.5.1</version>
    </dependency>
    <dependency>
      <groupId>org.apache.httpcomponents</groupId>
      <artifactId>httpclient</artifactId>
      <version>4.4.1</version>
    </dependency>
    <dependency>
      <groupId>org.apache.httpcomponents</groupId>
      <artifactId>httpcore</artifactId>
      <version>4.4.1</version>
    </dependency>

此处输入图片的描述

<build>
    <sourceDirectory>src/main/java</sourceDirectory>
    <testSourceDirectory>src/main/test</testSourceDirectory>

    <plugins>
      <plugin>
        <artifactId>maven-assembly-plugin</artifactId>
        <configuration>
          <descriptorRefs>
            <descriptorRef>jar-with-dependencies</descriptorRef>
          </descriptorRefs>
          <archive>
            <manifest>
              <mainClass></mainClass>
            </manifest>
          </archive>
        </configuration>
        <executions>
          <execution>
            <id>make-assembly</id>
            <phase>package</phase>
            <goals>
              <goal>single</goal>
            </goals>
          </execution>
        </executions>
      </plugin>

      <plugin>
        <groupId>org.codehaus.mojo</groupId>
        <artifactId>exec-maven-plugin</artifactId>
        <version>1.2.1</version>
        <executions>
          <execution>
            <goals>
              <goal>exec</goal>
            </goals>
          </execution>
        </executions>
        <configuration>
          <executable>java</executable>
          <includeProjectDependencies>true</includeProjectDependencies>
          <includePluginDependencies>false</includePluginDependencies>
          <classpathScope>compile</classpathScope>
          <mainClass>cn.com.syl.spark.App</mainClass>
        </configuration>
      </plugin>

      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-compiler-plugin</artifactId>
        <configuration>
          <source>1.6</source>
          <target>1.6</target>
        </configuration>
      </plugin>

    </plugins>
  </build>

最终 pom.xml 如下：

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>


  <groupId>cn.com.syl</groupId>
  <artifactId>spark</artifactId>
  <version>0.0.1-SNAPSHOT</version>
  <packaging>jar</packaging>

  <name>spark</name>
  <url>http://maven.apache.org</url>

  <properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
  </properties>

  <dependencies>
    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>3.8.1</version>
      <scope>test</scope>
    </dependency>
    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-core_2.10</artifactId>
      <version>1.5.1</version>
    </dependency>
    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-sql_2.10</artifactId>
      <version>1.5.1</version>
      </dependency>
    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-hive_2.10</artifactId>
      <version>1.5.1</version>
    </dependency>
    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-streaming_2.10</artifactId>
      <version>1.5.1</version>
    </dependency>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-client</artifactId>
      <version>2.6.1</version>
    </dependency>
    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-streaming-kafka_2.10</artifactId>    
      <version>1.5.1</version>
    </dependency>
    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-streaming-flume_2.10</artifactId>    
      <version>1.5.1</version>
    </dependency>
    <dependency>
      <groupId>org.apache.httpcomponents</groupId>
      <artifactId>httpclient</artifactId>
      <version>4.4.1</version>
    </dependency>
    <dependency>
      <groupId>org.apache.httpcomponents</groupId>
      <artifactId>httpcore</artifactId>
      <version>4.4.1</version>
    </dependency>
  </dependencies>

  <build>
    <sourceDirectory>src/main/java</sourceDirectory>
    <testSourceDirectory>src/main/test</testSourceDirectory>

    <plugins>
      <plugin>
        <artifactId>maven-assembly-plugin</artifactId>
        <configuration>
          <descriptorRefs>
            <descriptorRef>jar-with-dependencies</descriptorRef>
          </descriptorRefs>
          <archive>
            <manifest>
              <mainClass></mainClass>
            </manifest>
          </archive>
        </configuration>
        <executions>
          <execution>
            <id>make-assembly</id>
            <phase>package</phase>
            <goals>
              <goal>single</goal>
            </goals>
          </execution>
        </executions>
      </plugin>

      <plugin>
        <groupId>org.codehaus.mojo</groupId>
        <artifactId>exec-maven-plugin</artifactId>
        <version>1.2.1</version>
        <executions>
          <execution>
            <goals>
              <goal>exec</goal>
            </goals>
          </execution>
        </executions>
        <configuration>
          <executable>java</executable>
          <includeProjectDependencies>true</includeProjectDependencies>
          <includePluginDependencies>false</includePluginDependencies>
          <classpathScope>compile</classpathScope>
          <mainClass>cn.com.syl.App</mainClass>
        </configuration>
      </plugin>

      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-compiler-plugin</artifactId>
        <configuration>
          <source>1.6</source>
          <target>1.6</target>
        </configuration>
      </plugin>

    </plugins>
  </build>
</project>

文件下载的依赖项较多，需要一定的时间，请耐心等待完成。

此处输入图片的描述

可能会出现如下问题：

此处输入图片的描述

解决办法：

选中 "Project configuration ..."-> Quick Fix -> Finish

此处输入图片的描述

2). 编写代码

选中 cn.com.syl.spark 包 -> 用快捷键 Ctrl+N ->搜索 class -> 选中 java class -> Next

此处输入图片的描述

输入类名 -> Finish

此处输入图片的描述

FlumePushSpark.java 代码如下：

package cn.com.syl.spark;
import java.util.Arrays;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.function.FlatMapFunction;
import org.apache.spark.api.java.function.Function2;
import org.apache.spark.api.java.function.PairFunction;
import org.apache.spark.streaming.Durations;
import org.apache.spark.streaming.api.java.JavaDStream;
import org.apache.spark.streaming.api.java.JavaPairDStream;
import org.apache.spark.streaming.api.java.JavaReceiverInputDStream;
import org.apache.spark.streaming.api.java.JavaStreamingContext;
import org.apache.spark.streaming.flume.FlumeUtils;
import org.apache.spark.streaming.flume.SparkFlumeEvent;
import scala.Tuple2;

public class FlumePushDstream {

    public static void main(String[] args) {
        SparkConf conf = new SparkConf()
                .setMaster("local[3]")
                .setAppName("flumepushspark");  
        JavaStreamingContext jssc = new JavaStreamingContext(conf, Durations.seconds(5));

        JavaReceiverInputDStream<SparkFlumeEvent> lines =
                FlumeUtils.createStream(jssc, "localhost", 9999);  

        JavaDStream<String> words = lines.flatMap(

                new FlatMapFunction<SparkFlumeEvent, String>() {

                    private static final long serialVersionUID = 1L;

                    @Override
                    public Iterable<String> call(SparkFlumeEvent event) throws Exception {
                        String line = new String(event.event().getBody().array());  
                        return Arrays.asList(line.split(" "));   
                    }

                });

        JavaPairDStream<String, Integer> pairs = words.mapToPair(

                new PairFunction<String, String, Integer>() {

                    private static final long serialVersionUID = 1L;

                    @Override
                    public Tuple2<String, Integer> call(String word) throws Exception {
                        return new Tuple2<String, Integer>(word, 1);
                    }

                });

        JavaPairDStream<String, Integer> wordCounts = pairs.reduceByKey(


                new Function2<Integer, Integer, Integer>() {

                    private static final long serialVersionUID = 1L;

                    @Override
                    public Integer call(Integer v1, Integer v2) throws Exception {
                        return v1 + v2;
                    }

                });

        wordCounts.print();

        jssc.start();
        jssc.awaitTermination();
        jssc.close();
    }

}

注意：Spark Streaming必须先启动起来，监听9999端口，然后启动 flume 来让 flume 推送数据。

启动 Spark Streaming

此处输入图片的描述

打开 Xfce 终端启动 flume agent

$ bin/flume-ng agent --conf conf --conf-file conf/flume-push-spark.properties  -name a1 -Dflume.root.logger=INFO,console

此处输入图片的描述

再另外开启 Xfce 终端拷贝一份文件到 /opt/flume_push_spark，

$  sudo cp /opt/spark-2.1.0-bin-hadoop2.6/README.md  /opt/flume_push_spark

快速切换到scala IDE Console 控制台，屏幕上会显示程序运行的相关信息，并会每隔5秒钟刷新一次信息，大量信息中会包含如下重要信息，默认只显示前十条：

此处输入图片的描述

至此 flume push 数据到spark Streaming 顺利完成。实验结束后，要关闭各个终端，只要切换到该终端窗口，然后按键盘的 Ctrl+C 组合键，就可以结束程序运行。

补充知识：

假定您是在 windows 平台写的代码 ，您可以用打 jar 包的方式运行，具体如下：

选中项目 spark，右键 -> Run as -> Run Configurations

此处输入图片的描述

双击 Maven Build ->Workspace -> 选择 spark -> OK

此处输入图片的描述

在 Goals 输入框输入 compile package ->Apply -> Run

此处输入图片的描述

编译完成，选中项目 spark 按键f5刷新项目

此处输入图片的描述

展开 target，右键点击编译出的 jar 点击属性：

此处输入图片的描述

查看位置

此处输入图片的描述

同样的，Spark Streaming 必须先启动起来，监听9999端口，然后启动 flume 来让 flume 推送数据。

spark-2.1.0-bin-hadoop2.6/bin/spark-submit --class cn.com.syl.spark.FlumePushDstream --num-executors 2 --executor-cores 1 /home/shiyanlou/scalaIDE_workspace/spark/target/spark-0.0.1-SNAPSHOT-jar-with-dependencies.jar

此处输入图片的描述

另外打开 Xfce 终端启动 flume agent

$ bin/flume-ng agent --conf conf --conf-file conf/flume-push-spark.properties  -name a1 -Dflume.root.logger=INFO,console

此处输入图片的描述

再另外开启 Xfce 终端拷贝一份文件到 /opt/flume_push_spark，

$  sudo cp /opt/spark-2.1.0-bin-hadoop2.6/RELEASE /opt/flume_push_spark

此处输入图片的描述

快速回到 Spark Streaming 终端，屏幕上会显示程序运行的相关信息，并会每隔5秒钟刷新一次信息，大量信息中会包含如下重要信息，默认只显示前十条，由于窗口滑动太快，这里没有截到数据，道理是相通的，学会方法就好了。

此处输入图片的描述

三、实验总结

本节课主要介绍了 Spark Streaming 与 Flume 的整合过程，并就 Windows 平台如何打 jar 包提交到远程服务器进行讲解，希望学完本节课，能帮助您理解Spark Streaming，并能很快上手。

四、参考阅读

oxuzhenyi
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark2.x快速入门教程-内含源码以及设计说明书(可以自己运行复现).zip
05-08
《Spark2.x快速入门教程-内含源码以及设计说明书》是一个全面的教程，旨在帮助初学者快速掌握Spark2.x的核心特性和应用。本教程涵盖了多个关键知识点，包括Spark SQL、Structured Streaming、Hive on Spark以及多种...
Spark入门教程（非常详细）从零基础入门到精通，看完这一篇就够了
Javachichi的博客
07-23 4万+
Hive 是将 SQL 转为 MapReduce。SparkSQL 可以理解成是将 SQL 解析成：“RDD + 优化” 再执行在学习Spark SQL前，需要了解数据分类。
Spark入门教程
m0_75198698的博客
05-10 1810
Spark中最基本的抽象数据类型是弹性分布式数据集（Resilient Distributed Datasets，简称RDD），它是Spark中的数据处理基本单位，类似于其他分布式计算框架中的数据集。当然，还有很多关于Spark的知识需要深入学习，例如使用Spark Streaming进行实时处理、使用Spark GraphX进行图形处理、使用Spark MLlib进行机器学习等等。Spark是一种基于内存计算的大数据处理框架，它提供了高效的分布式数据处理能力，使得处理大规模数据变得更加容易。
[Spark]一、Spark基础入门
weixin_44428807的博客
06-18 1161
Spark得到了众多大数据公司的支持，这些公司包括Hortonworks、IBM、Intel、Cloudera、MapR、Pivotal、百度、阿里、腾讯、京东、携程、优酷土豆。目的：点击yarn（8088）上spark任务的history按钮，进入的是spark历史服务器（18080），而不再是yarn历史服务器（19888）。# 参数3含义：指定保存Application历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数。
Spark环境搭建（保姆级教程）
热门推荐
tangyi2008的专栏
02-24 5万+
Spark 是一个大规模数据处理的统一分析引擎 本文主要介绍Spark的相关配置，以及各种模式的代码提交，包括Local,Standalone,YARN。 文末有相应资源下载网盘链接。
《Spark系列》Spark快速入门教程
https://blog.datasource.space
06-06 1571
Spark和Hadoop的根本差异是多个作业之间的数据通信问题：Spark多个作业之间数据通信是基于内存，而Hadoop是基于磁盘的。
Spark简介以及最详细安装教程
zp17834994071的博客
07-29 3万+
首先来聊聊什么是Spark?为什么现在那么多人都用Spark? Spark简介： Spark是一种通用的大数据计算框架,是基于**RDD（弹性分布式数据集）**的一种计算模型。那到底是什么呢？可能很多人还不是太理解，通俗讲就是可以分布式处理大量集数据的，将大量集数据先拆分，分别进行计算，然后再将计算后的结果进行合并。 为什么使用Spark ...
Spark 安装和环境配置入门案例教程.txt
最新发布
07-15
### Spark 安装与环境配置入门案例教程 #### 一、Apache Spark简介 Apache Spark是一个高性能、分布式的大数据处理框架，适用于对大规模数据集进行快速处理。它支持多种编程语言，如Scala、Java、Python和R，并且...
编程指南快速入门 - Spark 2.4.0文档.pdf
12-02
### 编程指南快速入门 - Spark 2.4.0文档知识点详解 #### 一、概览 **Spark 2.4.0**是Apache Spark的一个重要版本，它提供了多种功能改进和性能优化，适用于大数据处理场景。本文档旨在帮助初学者快速了解Spark的...
spark入门教程
10-24
### Spark入门教程知识点详解 #### 一、Spark简介 Apache Spark是一种开源的大数据处理框架，以其高效、易用的特点在大数据领域受到了广泛的关注。Spark支持多种编程语言（如Scala、Java、Python等），并且能够与...
Spark从入门到上手实战视频教程
12-28
课程分享——Spark从入门到上手实战视频教程，完整版下载，含代码、软件、笔记、课件等。Spark属于新起的基于内存处理海量数据的框架，由于其快速被众公司所青睐。Spark 生态栈框架，非常的强大，可以对数据进行...
Spark 教程系列
诸葛子房的博客
08-12 784
1)首先检查你的最大并行度（task个数）是否大于申请的vcore个数，如果不是的话，减少executorVcores，使得executorCores*executorNum小于Spark任务的最大并行度。在executor memory不变的情况下，降低executor cores会提高单位vcore的memory使用量。(2)如果你的Spark任务执行较慢，可提高任务的并行度，充分利用你当前申请的资源。第一部分是driver 日志，第二部分是excutor 日志。3.线上实际任务分析。.........
Spark 基础教程 一文看懂 spark 常用操作汇总
fanghailiang2016的博客
04-02 1491
Spark 基础教程 一文看懂 spark 常用操作汇总
尚硅谷大数据技术Spark教程-笔记08【SparkSQL（介绍、特点、数据模型、核心编程、案例实操、总结）】
upward
06-12 1981
尚硅谷大数据技术Spark教程-笔记08【SparkSQL（介绍、特点、数据模型、核心编程、案例实操、总结）】
大数据基础：Spark工作原理及基础概念
QcloudCommunity的博客
11-13 8930
导语 |Apache Spark 是专为大规模数据处理而设计的快速通用计算引擎，在数据挖掘和机器学习领域有着广泛的应用，现在也已形成一个高速发展、应用广泛的生态系统。本文将为大家详细介...
Spark从入门到精通
weixin_43193629的博客
05-24 1036
spark基础知识
Spark快速入门
Prince_96的博客
11-29 2701
文章目录1、Spark概述1.1、什么是Spark？1.2、为什么要学Spark？1.3、Spark的特点1.3.1、运行速度快1.3.2、易用性好1.3.3、通用性强1.3.4、兼容性强1.4、Spark运行模式2、搭建Spark集群2.1、下载2.2、环境准备2.3、配置免密登录2.4、开始安装2.5、Spark HA 高可用部署2.5.1、高可用部署说明2.5.2、基于zookeeper 的Spark HA 高可用集群部署3、Spark 角色介绍3.1、Spark架构3.2、架构说明4、体验 Spar
Spark入门基础教程
lbyyy的专栏
11-25 3万+
Spark入门基础教程
Spark GraphX入门教程：图处理与PageRank
"本次讲解的主题是GraphX入门，主要涵盖Spark大数据平台中的图计算模块。内容包括GraphX的基本概念、图的定义、GraphX的图处理、架构及操作，并通过实例演示PageRank算法。" GraphX是Apache Spark框架中的一个库，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值