关闭

Spark的那些外部框架

标签: Spark外部框架
1108人阅读 评论(0) 收藏 举报
分类:

引言:Spark社区提供了大量的框架和库。其规模及数量都还在不断增加。本文我们将介绍不包含在Spark核心源代码库的各种外部框架。Spark试图解决的问题涵盖的面很广,跨越了很多不同领域,使用这些框架能帮助降低初始开发成本,充分利用开发人员已有的知识。 
本文选自《Spark:大数据集群计算的生产实践》。

Spark Package

  要使用Spark库,你首先必须了解的东西是Spark package。它有点像Spark的包管理器。当你给Spark集群提交job时,你可以到存放Spark package的网站下载任何package。所有package都存放在这个站点。 
  http://spark-packages.org/ 
  当你想用一个Spark package时,可以在spark-submit命令或者spark- shell命令中增加包选项:

$ $Spark_HOME/bin/Spark-shell \
    -packages com.databricks:Spark-avro_2.10:2.0.1

  如果使用了–packages选项,Spark package就会自动把它的JAR包添加到你指定的路径下。你不仅能在Spark集群上使用社区的库,还能到公开发布自己的库。如果要把一个Spark package发布到这个托管服务下,必须遵守下列规则:

  • 源代码必须放在Github上。
  • 代码库的名字必须与包名相同。
  • 代码库的主分支必须有README.md文件,在根目录下必须有LICENSE文件。

换句话说,你不需要编译自己的package。即使你用Spark Packages的模板,编译、发布以及版本更新都将由这项服务完成。sbt插件sbt-spark-package(https://github.com/databricks/sbt-spark-packages)对于生成package也非常有用。如果要在你的项目中包含此插件,请务必在sbt项目的project/plugins.sbt文件中写入下面的代码:

resolvers += "bintray-Spark-packages" at "https://dl.bintray.com/
Spark-packages/maven/"
    addSbtPlugin("org.Spark-packages" % "sbt-Spark-packages" % "0.2.3")

  发布Spark包时必须提供如下信息,应该把它们写到build.sbt中:

  • spName——package的名称。
  • sparkVersion——package所依赖的Spark版本。
  • sparkComponents——package所依赖的Spark组件列表,例如SQL、MLlib。
  • spShortDescription——package的一句话描述。
  • spDescription——关于package的完整描述。
  • spHomePage——用于描述package的Web页面的URL。

上述6项是你在发布package之前需要提供的信息。一定要发布到package的代码库的主分支上。你可以使用Spark package的托管站点(https://spark-packages.org/)的Web UI来完成这项工作。 
            图片描述
  在Spark package站点上注册了Github账号后,可以从“name”下拉菜单中选择你的代码库。 
             图片描述
  上面的简短描述和主页最好与build.sbt中的描述和主页URL一致。一旦你提交了package,验证过程就开始了。这个过程通常需要几分钟。当验证完成后,你会收到一封邮件,告诉你验证是否成功。如果成功,就可以用前面描述的–package选项下载你的package了。截至2015年11月,Spark package站点上已经有153个package了。下一节将介绍一些库,它们也是支持Spark package形式的,即它们也以Spark package格式分发。

XGBoost

  XGBoost是一个专用于分布式框架的优化库。这个框架由DMLC(Distributed Machine Learning Community,分布式机器学习社区)开发。顾名思义,在DMLC项目下有许多机器学习库,它们在Hadoop和Spark等已有资源上具有高扩展性。XGBoost是基于Gradient Boosting(梯度提升)算法的。决策树提升算法(Tree Boosting)是一种用于分类的集成学习(ensemble learning)算法,它组合使用了决策树与提升算法,是一种轻量而快速的分类算法。关于树集成及树提升算法在此就不展开讲述了,它们都是简单高效的算法:https://xgboost.readthedocs.org/en/latest/model.html。 
  虽然当前XGBoost还不能与Spark集成,但是XGBoost的名气使得Spark社区开发了XGBoost的Spark package:http://Spark-packages.org/package/rotationsymmetry/Sparkxgboost/。 
  尽管XGBoost核心开发组不支持这个package,你还是可以使用sparkxgboost包体验一下在Spark上的XGBoost的实现。

spark-jobserver

  提交job的流程需要改进,因为对于非工程师来说,这项工作有点难。你需要理解如何用命令行或者其他UNIX命令去提交Spark job。Spark项目现在是使用CLI来提交job的。spark-jobserver提供了一个RESTful API来管理提交到Spark集群的job。因此,这意味着可以在企业内部环境中将Spark作为一个服务启动。最简单的使用spark-observer的方法就是启动一个为之准备的Docker容器。如果你的笔记本上已经有了Docker环境,你需要做的就是输入下面的命令:

$ docker run -d -p 8090:8090\
    velvia/spark-jobserver:0.5.2-SNAPSHOT

  执行这条命令,spark-jobserver的Docker镜像将被下载,它会在Docker上启动spark-jobserver作为守护进程。可以通过8090端口查看这个服务器的状态。启动之后,可以看到下图所示的Web UI。 
              图片描述
  虽然这个界面很简单,但它为管理job提供了足够的信息。job服务器的后台是带有一个本地executor的Spark集群,它有4个线程运行在这个Docker容器配置下。不过对于你的生产环境而言,这样的配置可能远远不够。现在,假设你的job已经通过REST API发送。在spark-jobserver项目目录下有一个著名的单词计数例子。下载这个例子的源码后,用sbt命令编译。如果你的笔记本上没有sbt,请参照http://www.scala-sbt.org/

$ git clone \
    https://github.com/spark-jobserver/Spark-jobserver.git
$ cd spark-jobserver
$ sbt job-server-tests/package
# You can build test package as a jar format under
# job-server-tests/target/scala-2.10/job-server-
# tests2_2.10-0.6.1-SNAPSHOT.jar, though version number
# might be a little bit different

  运行一个job,其过程如下: 
  (1)上传应用的JAR文件。 
  (2)选择运行在spark-jobserver上的主类。 
  提交job时不需要每次都编写Spark应用或者编译它,即使你想与其他人共享。spark-jobserver会对如下对象持久化:

  • job状态
  • job配置
  • JAR

因此,一旦你设置了这些信息,就不需要再次重新上传。重要的是,可以通过spark-jobserver与同事共享你的应用的代码。可以用curl命令进行上传:

$ curl --data-binary @job-server-test/target/scala-2.10/job-server-
tests_2.10.0.6.1-SNAPSHOT.jar \
    http://<Your Docker Host IP>:8090/jars/test
$ curl 'http://<Your Docker Host IP>:8090/jars'
    {
      "tests" : "2015-11-12T02:26:50.069-05:00"
    }

  如果收到上面信息,就可以上传你的JAR。现在,是时候用输入数据启动你的应用了。

$ curl -d "input.string = takeshi nobita dora suneo suneo nobita" '
http://<Your Docker Host IP>:8090/jobs?appName=test&classPath=spark.
jobserver.WordCountExample'
$ curl 'http://<Your Docker Host IP>:8090/jobs'
    {
     "duration": "0.448 secs", 
     "classPath": "spark.jobserver.WordCountExample", 
     "startTime": "2015-11-12T03:01:12.362-05:00",
     "context": "0a518c58-spark.jobserver.WordCountExample",
     "status": "FINISHED",
     "jobId": "aed9a387-5319-4d8e-ac3d-0f1ce9d4b1a1"
    }

  你的job应当成功地完成。得到的结果也能通过REST API下载。

$ curl http://<Your Docker Host IP>:8090/jobs/aed9a387-5319-4d8e-
ac3d-0f1ce9d4b1a1
    {
    "status": "OK",
    "result": {
    "takeshi": 1,
    "nobita": 2,
    "suneo": 2,
    "dora": 1
        }
    }

  这就是一个使用spark-jobserver的进程。虽然这个库仍然在开发中,但由于它是一个开源项目,因此可能很快就会被应用到实际场景。如果你打算在内部使用以处理日常数据,那么spark-jobserver是一个不错的选项。 
  本文选自《Spark:大数据集群计算的生产实践》,点此链接可在博文视点官网查看此书。 
                      

图片描述

  想及时获得更多精彩文章,可在微信中搜索“博文视点”或者扫描下方二维码并关注。
                         图片描述

0
0
查看评论
发表评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场

Spark的那些外部框架

摘要: Spark社区提供了大量的框架和库。其规模及数量都还在不断增加。本文我们将介绍不包含在Spark核心源代码库的各种外部框架。Spark试图解决的问题涵盖的面很广,跨越了很多不同领域,使用这些框...
  • yunqishequ1
  • yunqishequ1
  • 2017-06-16 13:34
  • 141

Spark连接外部数据源解读

本文以连接HBase数据库为例,介绍Spark DataSource API的结构。项目源码:https://github.com/hortonworks-spark/shc 注:由于某些原因,尚无充...
  • bluishglc
  • bluishglc
  • 2016-10-21 12:51
  • 4790

Spark——并行计算框架

SparkSpark是一个通用的并行计算框架,是一种快速处理大规模数据的通用引擎,由UCBerkeley的AMP实验室开发。其架构如下图所示: Spark与Hadoop相比 Spark的中间数据放到...
  • suchang1127
  • suchang1127
  • 2015-10-22 22:22
  • 3732

spark加载外部资源方式

首选说明spark加载文件: 1、采用 Source. fromFile (LocalPath)方式加载,可加载本地文件,这里本地文件指的是非集群方式 2、加载hdfs,sc.textfile() ...
  • lvdan1
  • lvdan1
  • 2017-11-02 18:39
  • 184

Hive编程指南-表创建、内部表、外部表

摘要:本文主要介绍了Hive创建表的一些知识,包含内部表、外部表、分区和分桶等。
  • Evankaka
  • Evankaka
  • 2017-02-10 09:10
  • 1415

web开发框架-spark

Spark是一个微型的Java Web框架,它的灵感来自于Sinatra,它的目的是让你以最小的代价创建出一个Java Web应用。最近更新到2.0.0,支持Java 8 ,支持Lambda,Demo...
  • miketom155
  • miketom155
  • 2015-12-17 15:33
  • 1477

Spark——最简单明了的Java Web框架(1)

前阵子在10gen官网参与了MongoDB For Java Developer的网络课程,课程采用了一个blog作为开发例子,侧重于MongoDB的介绍,当然要对web开发(web框架,HTML,J...
  • qinjienj
  • qinjienj
  • 2013-03-21 03:47
  • 25907

Spark 简易入门教程(Java的微型Web框架)

今天在reddit上看到了这个有趣的Java Web框架,就写了几个例子稍微感受了一下,顺手把它的文档也翻译的了一下。 一、Spark是什么 Spark是一个微型的Java Web框架,它的灵感来...
  • java_dyq
  • java_dyq
  • 2017-05-26 19:36
  • 723

Spark SQL之External DataSource外部数据源(一)示例

一、Spark SQL External DataSource简介  随着Spark1.2的发布,Spark SQL开始正式支持外部数据源。Spark SQL开放了一系列接入外部数据源的接口,来让开发...
  • u014388509
  • u014388509
  • 2014-12-22 01:12
  • 7242

聊聊spark这个大数据计算框架

Spark是基于内存计算的大数据并行计算框架。Spark基于内存计算,提高了其在大数据环境下数据处理的实时性,同时保证了高容错性和高可伸缩性。 Spark项目包含多个紧密集成的组件。Spark的...
  • dsl200970
  • dsl200970
  • 2017-04-10 21:28
  • 580
    个人资料
    • 访问:3856214次
    • 积分:55833
    • 等级:
    • 排名:第58名
    • 原创:1458篇
    • 转载:83篇
    • 译文:1篇
    • 评论:3784条
    博客专栏
    文章存档
    最新评论