Spark Streaming+IntelliJ Idea+Maven开发环境搭建

最新推荐文章于 2022-07-05 10:13:12 发布
最新推荐文章于 2022-07-05 10:13:12 发布
阅读量6.2k 收藏 1
点赞数 2
分类专栏： Spark 文章标签： spark intellij idea maven
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lubinsu/article/details/50812669
版权

Spark Streaming+IntelliJ Idea+Maven开发环境搭建

国内关于Spark流处理方面的资料实在是少之又少，开发环境搭建上一些细节上的说明就更少了，本文主要介绍在Windows下通过IntelliJ Idea连接远程服务器的Spark节点，接收FlumeNG收集的日志数据实现实时的数据处理。开发语言为Scala。

这里我们假设已经部署好Spark 1.5.2集群，并且集群的运行模式为Standalone HA，假设已经存在FlumeNG的Agent发过来的实时数据流。

  • 新建MAVEN工程

    新建MAVEN工程

  • 选择 Create from archivetype –> scala-archetype-simple

    选择 Create from archivetype --> scala-archetype-simple

  • 配置好GroupId和ArtifactId，下一步、下一步

    配置好GroupId和ArtifactId，下一步、下一步

  • pom.xml文件配置如下，需要引入依赖

    flume-ng-sdk、spark-streaming-flume_2.10、spark-streaming_2.10、jackson.core、jackson-databind、jackson-module-scala_2.10：

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <groupId>com.changtu</groupId>
    <artifactId>spark</artifactId>
    <version>1.0-SNAPSHOT</version>
    <inceptionYear>2008</inceptionYear>
    <properties>
        <scala.version>2.10.6</scala.version>
    </properties>

    <repositories>
        <repository>
            <id>scala-tools.org</id>
            <name>Scala-Tools Maven2 Repository</name>
            <url>http://scala-tools.org/repo-releases</url>
        </repository>
    </repositories>

    <pluginRepositories>
        <pluginRepository>
            <id>scala-tools.org</id>
            <name>Scala-Tools Maven2 Repository</name>
            <url>http://scala-tools.org/repo-releases</url>
        </pluginRepository>
    </pluginRepositories>

    <dependencies>
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>${scala.version}</version>
        </dependency>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>3.8.1</version>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.flume</groupId>
            <artifactId>flume-ng-sdk</artifactId>
            <version>1.5.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming-flume_2.10</artifactId>
            <version>1.5.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming_2.10</artifactId>
            <version>1.5.2</version>
        </dependency>
        <dependency>
            <groupId>com.fasterxml.jackson.core</groupId>
            <artifactId>jackson-core</artifactId>
            <version>2.4.4</version>
        </dependency>
        <dependency>
            <groupId>com.fasterxml.jackson.core</groupId>
            <artifactId>jackson-databind</artifactId>
            <version>2.4.4</version>
        </dependency>
        <dependency>
            <groupId>com.fasterxml.jackson.module</groupId>
            <artifactId>jackson-module-scala_2.10</artifactId>
            <version>2.4.4</version>
        </dependency>
    </dependencies>

    <build>
        <sourceDirectory>src/main/scala</sourceDirectory>
        <testSourceDirectory>src/test/scala</testSourceDirectory>
        <plugins>
            <plugin>
                <groupId>org.scala-tools</groupId>
                <artifactId>maven-scala-plugin</artifactId>
                <executions>
                    <execution>
                        <goals>
                            <goal>compile</goal>
                            <goal>testCompile</goal>
                        </goals>
                    </execution>
                </executions>
                <configuration>
                    <scalaVersion>${scala.version}</scalaVersion>
                    <args>
                        <arg>-target:jvm-1.7</arg>
                    </args>
                </configuration>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-eclipse-plugin</artifactId>
                <configuration>
                    <downloadSources>true</downloadSources>
                    <buildcommands>
                        <buildcommand>ch.epfl.lamp.sdt.core.scalabuilder</buildcommand>
                    </buildcommands>
                    <additionalProjectnatures>
                        <projectnature>ch.epfl.lamp.sdt.core.scalanature</projectnature>
                    </additionalProjectnatures>
                    <classpathContainers>
                        <classpathContainer>org.eclipse.jdt.launching.JRE_CONTAINER</classpathContainer>
                        <classpathContainer>ch.epfl.lamp.sdt.launching.SCALA_CONTAINER</classpathContainer>
                    </classpathContainers>
                </configuration>
            </plugin>
        </plugins>
    </build>
    <reporting>
        <plugins>
            <plugin>
                <groupId>org.scala-tools</groupId>
                <artifactId>maven-scala-plugin</artifactId>
                <configuration>
                    <scalaVersion>${scala.version}</scalaVersion>
                </configuration>
            </plugin>
        </plugins>
    </reporting>
</project>
  • log4J.properties配置信息如下
log4j.rootLogger=WARN,stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%5p - %m%n
  • 新建Scala object

IPHandler.scala

package com.changtu

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.storage.StorageLevel
import org.apache.spark.streaming.flume.FlumeUtils
import org.apache.spark.streaming.{Seconds, StreamingContext}

/**
  * IP处理
  *
  */
object IPHandler {

  /**
    * 使用淘宝的REST接口获取IP数据, 返回JSON数据
    * @param ipAddr ip地址
    */
//  def getIPJSON(ipAddr: String): String = {
//    Source.fromURL("http://ip.taobao.com/service/getIpInfo.php?ip=" + ipAddr).mkString
//  }

  /**
    * 使用淘宝的REST接口获取IP数据, 返回运营商信息
    * @param ipAddr ip地址
    */

  def main(args: Array[String]) {
    val conf = new SparkConf().setAppName("FlumeNG sink")
    val sc = new SparkContext(conf)
    val ssc = new StreamingContext(sc, Seconds(2))
    val stream = FlumeUtils.createStream(ssc, "xxx.xxx.xxx(配置FlumeNG Agent的IP)", 22221, StorageLevel.MEMORY_AND_DISK)
    stream.map(e => "FlumeNG:header:" + e.event.get(0).toString + "body: " + new String(e.event.getBody.array)).print()
    ssc.start()
    ssc.awaitTermination()
    sc.stop()
  }
}

  • 新建Scala object

    工程整体的目录结构如下所示
    新建Scala object

  • 选择菜单栏run-edit configurations

    选择菜单栏run-edit configurations

  • 添加配置信息

Main class
org.apache.spark.deploy.SparkSubmit
Program arguments
--class
com.changtu.IPHandler
--jars
E:\IdeaProjects\jars\spark-streaming-flume_2.10-1.5.2.jar,E:\IdeaProjects\jars\flume-ng-sdk-1.5.2.jar
--master
spark://tts.node4:7077
E:\IdeaProjects\spark\out\artifacts\changtu\changtu.jar

  • 这里写图片描述

  • 选择菜单栏file project structure进行打包配置
    这里写图片描述

    这里写图片描述
    主要添加Module Output和META-INF

  • 配置完后，run

    配置完后，run

运行结果：
-------------------------------------------
Time: 1457234138000 ms
-------------------------------------------
FlumeNG:header:{flume.client.log4j.log.level=20000, flume.client.log4j.logger.name=com.changtu.datapush.DBToolkit, flume.client.log4j.message.encoding=UTF8, flume.client.log4j.timestamp=1457234136498}body: 2016-03-06 11:15:36 INFO [com.changtu.datapush.DBToolkit:22] - FlumeNG MESSAGES0

FlumeNG:header:{flume.client.log4j.log.level=20000, flume.client.log4j.logger.name=com.changtu.datapush.DBToolkit, flume.client.log4j.message.encoding=UTF8, flume.client.log4j.timestamp=1457234137595}body: 2016-03-06 11:15:37 INFO [com.changtu.datapush.DBToolkit:22] - FlumeNG MESSAGE1

-------------------------------------------
Time: 1457234140000 ms
-------------------------------------------
FlumeNG:header:{flume.client.log4j.log.level=20000, flume.client.log4j.logger.name=com.changtu.datapush.DBToolkit, flume.client.log4j.message.encoding=UTF8, flume.client.log4j.timestamp=1457234138597}body: 2016-03-06 11:15:38 INFO [com.changtu.datapush.DBToolkit:22] - FlumeNG MESSAGE2

FlumeNG:header:{flume.client.log4j.log.level=20000, flume.client.log4j.logger.name=com.changtu.datapush.DBToolkit, flume.client.log4j.message.encoding=UTF8, flume.client.log4j.timestamp=1457234139604}body: 2016-03-06 11:15:39 INFO [com.changtu.datapush.DBToolkit:22] - FlumeNG MESSAGE3

-------------------------------------------
Time: 1457234142000 ms
-------------------------------------------
FlumeNG:header:{flume.client.log4j.log.level=20000, flume.client.log4j.logger.name=com.changtu.datapush.DBToolkit, flume.client.log4j.message.encoding=UTF8, flume.client.log4j.timestamp=1457234140606}body: 2016-03-06 11:15:40 INFO [com.changtu.datapush.DBToolkit:22] - FlumeNG MESSAGE4

FlumeNG:header:{flume.client.log4j.log.level=20000, flume.client.log4j.logger.name=com.changtu.datapush.DBToolkit, flume.client.log4j.message.encoding=UTF8, flume.client.log4j.timestamp=1457234141608}body: 2016-03-06 11:15:41 INFO [com.changtu.datapush.DBToolkit:22] - FlumeNG MESSAGE5


-------------------------------------------
Time: 1457234144000 ms
-------------------------------------------
FlumeNG:header:{flume.client.log4j.log.level=20000, flume.client.log4j.logger.name=com.changtu.datapush.DBToolkit, flume.client.log4j.message.encoding=UTF8, flume.client.log4j.timestamp=1457234142610}body: 2016-03-06 11:15:42 INFO [com.changtu.datapush.DBToolkit:22] - FlumeNG MESSAGE6

FlumeNG:header:{flume.client.log4j.log.level=20000, flume.client.log4j.logger.name=com.changtu.datapush.DBToolkit, flume.client.log4j.message.encoding=UTF8, flume.client.log4j.timestamp=1457234143612}body: 2016-03-06 11:15:43 INFO [com.changtu.datapush.DBToolkit:22] - FlumeNG MESSAGE7


-------------------------------------------
Time: 1457234146000 ms
-------------------------------------------
FlumeNG:header:{flume.client.log4j.log.level=20000, flume.client.log4j.logger.name=com.changtu.datapush.DBToolkit, flume.client.log4j.message.encoding=UTF8, flume.client.log4j.timestamp=1457234144614}body: 2016-03-06 11:15:44 INFO [com.changtu.datapush.DBToolkit:22] - FlumeNG MESSAGE8

FlumeNG:header:{flume.client.log4j.log.level=20000, flume.client.log4j.logger.name=com.changtu.datapush.DBToolkit, flume.client.log4j.message.encoding=UTF8, flume.client.log4j.timestamp=1457234145616}body: 2016-03-06 11:15:45 INFO [com.changtu.datapush.DBToolkit:22] - FlumeNG MESSAGE9

如果要打包放到服务器调用，可以通过以下命令调用

spark-submit --name "spark-flume" --master spark://tts.node4:7077 --class com.changtu.IPHandler --jars /appl/scripts/spark-streaming-flume_2.10-1.5.2.jar,/appl/scripts/flume-ng-sdk-1.5.2.jar --executor-memory 300m /appl/scripts/changtu.jar

EOF;
Added by lubinsu
QQ:380732421
Mail:lubinsu@gmail.com
Date:2016-03-06

lubinsu
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
Spark+SparkSQL+Spark Streaming+Spark Core+数据处理
03-18
对Spark、Spark Core、SparkSQL、Spark Streaming进行介绍并用其进行词频统计和数据处理。也用相关技术对学生信息进行了数据处理。附有代码，容易理解。
Spark踩坑记——SparkStreaming+Kafka
02-25
在WeTest舆情项目中，需要对每天千万级的游戏评论信息进行词频统计，在生产者一端，我们将数据按照每天的拉取时间存入了Kafka当中，而在消费者一端，我们利用了sparkstreaming从kafka中不断拉取数据进行词频统计。本文首先对sparkstreaming嵌入kafka的方式进行归纳总结，之后简单阐述Sparkstreaming+kafka在舆情项目中的应用，最后将自己在SparkStreaming+kafka的实际优化中的一些经验进行归纳总结。（如有任何纰漏欢迎补充来踩，我会第一时间改正^v^）用sparkstreaming流式处理kafka中的数据，第一步当然是先把数据接收过来，
SparkStreaming：Spark Streaming + Flume + Kafka + HBase + Hadoop + Zookeeper实现实时日志分析统计； SpringBoot + Echarts实现数据可视化展示
02-05
避免流式传输 前言：使用scala和java混编完成，其中也涉及到python脚本来自动生成日志，linux crontab调度工具来定时执行脚本生成实时日志。生成的数据主要是模拟某学习网站学习视频课程的访问量（其中*以“ / class”开头的表示实战课程，然后通过流水线Flume + Kafka + SparkStreaming进行实时日志的收集，HBase来存储数据）* 注意事项（使用的软件工具及环境配置） hadoop-2.6.0-cdh5.7.0 hbase-1.2.0-cdh5.7.0 zookeeper-3.4.5-cdh5.7.0 spark-2.2.0-bin-2.6
idea搭建spark开发环境完整版（windows）
weixin_34280060的博客
08-03 5032
利用intellij idea 搭建spark开发环境（windows） 本文配置所有环境 Win10 企业版2016长期服务版 Jdk1.8.0.131 Hadoop2.7.3 Spark2.2.0 Scala2.11.12 一、Jdk环境配置 下载 http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk8-downloads-2133151-zhs.html 可能需要oracle账号，目前更新到了151版。没有账号的可以移步 链接:
大数据maven依赖管理
码基的博客
06-13 416
学习笔记 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="htt...
使用IntelliJ Idea开发Spark Streaming流应用程序
不懂开发的程序猿的博客
07-05 1023
掌握IntelliJ Idea创建Spark Streaming流应用程序的过程。   熟悉在spark上提交运行Spark Streaming作业的方式。1、使用IntelliJ Idea创建Spark Streaming流应用程序。   2、打包Spark Streaming流应用程序并提交执行。Spark Streaming内部的基本工作原理如下：接收实时输入数据流，然后将数据拆分成多个batch，比如每收集1秒的数据封装为一个batch，然后将每个batch交给Spark的计算引擎进行处理，最后会生
http://www.scala-lang.org/download/2.10.6.html 下载scala 安装2.10.6
大JAVA解决方案
03-11 2118
SCALA 2.10.62.10.6Release Notes•ChangelogThe most popular way to get Scala is either using Scala through sbt, the Scala build tool, or to use Scala through an IDE.1First, make sure you have the Java 8...
在win10下的idea进行sparkStreaming操作,广告计费系统，实现黑名单的过滤
xin_sleep的博客
05-02 519
首先要自己在win10下的idea中可以导入spark相关的包，并且可以运行 然后这个要监听端口的，我们要下载一个netcat这个软件 netcat下载地址 然后把这个里面的nc64.exe放到电脑的C:\Windows下面 运行下面的程序的时候可以先打开电脑的cmd，输入nc64 -l -p 9999 运行idea中的代码 import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.streaming.{Seconds
SparkStreaming-解析
weixin_44085996的博客
09-29 532
1.初始化StreamingContext //SparkStreaming程序入口 val conf: SparkConf = new SparkConf().setAppName("wordcount").setMaster("local[*]")//如果需要打包运行在服务器上，不需要指定master val sc = new SparkContext(conf) sc.setLogLevel("WARN") val ssc: StreamingContext = new StreamingCont
Spark 2.1.2 Streaming + Kafka 1.1.0 -- 在IDEA中通过Maven创建Spark项目
Yore - Home
07-22 3317
一、开发环境中需要安装和配置如下 安装JDK，配置JDK环境变量(jdk1.8) 安装Scala，配置JDK环境变量(scala2.11.8) 最好安装一个Maven,虽然Idea已经集成自带的有Maven 测试环境中已经安装有Zookeeper集群，Kafka需要用到（3.4.5） 测试环境中已经安装有Kafka集群（1.1.0） 测试环境中已经安装有Spark集群（2.1.2...
spark-streaming-kafka
09-12
这个资源竟然不能免费给，┭┮﹏┭┮。这只是一个小资源，如果还需要其他spark、kafka、flume jar包可以联系我=
基于spark streaming+kafka+hbase的日志统计分析系统源码+项目说明.zip
最新发布
01-15
【资源说明】 1、该资源包括项目的全部源码，下载可以直接使用！ 2、本项目适合作为计算机、数学、电子信息等专业的课程设计、期末大作业和毕设...基于spark streaming+kafka+hbase的日志统计分析系统源码+项目说明.zip
Winows7下搭建Spark Streaming+IDEA+Maven开发环境
Yummy
08-10 618
本文主要介绍在Windows下通过IntelliJ Idea连接远程服务器的Spark节点。
在IDEA中利用Maven创建Spark项目
小小良
06-08 2407
1、安装相应sdk及环境变量配置 （1）安装java-sdk （2）安装scala-sdk （3）安装spark 2、安装IDEA 从官网下载安装包，常规安装，在Plugins中添加所需的插件，scala等 3、maven配置 打开maven存放文件夹找到 conf ->settings.xml 找到<mirrors>节点 把下面内容写入节点内 配置为阿里云的镜像 　　<mirror> <id>alimaven</id>
IntelliJ IDEA 创建 spark 项目
sp_ur的博客
09-13 7357
1.创建新项目： 2.选择 Maven ——》选择SDK ——》Next 3.起好名字 4.右键在 Main 文件夹下的 java 源码包（蓝色为源码包，灰色为普通文件夹） 右键 java ——》new 发现没有 scala class 选项。 5.点击此选项，导入 scala SDK 6.然后右键在 Main 文件夹下的 java 源码包，发现可以新建...
如何在idea里面直接运行spark streaming程序
xiao_jun_0820的专栏
05-03 5235
在windows环境下，虽然控制台报了一大堆错误，但是spark streaming还是按照它的逻辑跑着，也能得到正确的结果，并且能够打断点调试！！！ 由于报了一大坨的错误在控制台，导致我想看到的信息老是被刷屏出去，于是把代码放进linux的idea中去跑，发现streaming程序根本启动不起来！报如下错误： Using Spark's default log4j profile: org/
springboot整合sparkstreaming maven打包,多种方式运行main方法
qq_18453581的博客
09-30 1007
一 最简单的springboot的jar包pom.xml配置,如果是idea要配置artifact <build> <plugins> <plugin> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-maven-plugin</artifactId>
spark streaming消费kafka maven依赖选择
zhaolq1024的博客
01-03 6263
当我们的spark streaming程序需要消费kafka数据，我们需要根据自己的spark版本和kafka broker版本选择合适的maven依赖   spark-streaming-kafka-0-8 spark-streaming-kafka-0-10 支持的kafka版本 0.8+ 0.10+ 依赖包使用的spark版本 2.0-及2.0+ ...
IDEA开发环境练习Spark Streaming程序
GYT0313
05-07 2596
前言 搭建Spark + IDEA开发环境看参考： https://blog.csdn.net/qq_38038143/article/details/89926205 1. Maven 依赖 <properties> <scala.version>2.12.8</scala.version> <spark.version>2.4...
kafka+sparkstreaming+hive参考案例
09-06
Kafka+Spark Streaming+Hive的参考案例： 1. 实时日志分析系统 该系统使用Kafka作为数据源，Spark Streaming作为实时处理引擎，Hive作为数据存储和查询工具。系统可以实时处理大量的日志数据，对数据进行实时分析...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值