工作以及兴趣所致，开始了spark学习之旅，浏览网上大牛们的博客 文章，并且结合官网docs，刚开始云里雾里，现在也能雾里看到点花了。
学习spark，首先我们知道spark是由scala语言编写而成，至于为何，总结说来还是语言的原因，语言的优势，那么scala就脱颖而出了， 光就我目前所了解所接触，确实很多源码中用scala实现是何等的简洁，反观java，有点点的辛酸。
那么要不就先学习scala吧，以后还要靠着这语言来深入理解spark来 阅读spark源码呢。
(1) 开发工具？
(2) 项目构件工具?
(3) 打包部署？
开发工具，首先就想到的是 eclipse-scala ide插件，毕竟跟eclipse那么多年的感觉了，eclipse天天见。
Scala IDE for Eclipse
项目构件工具，原本也是安装m2eclipse-scala插件，使用最熟悉的maven的，但是一来该插件更新地址目前好像不好使了，而且广大博友也都认为还是 原生的sbt比较好，那么还是花点时间来了解下SBT（Simple Build Tool）吧。
SBT是scala语言项目的构建工具，就相当于maven是java项目工程的构建工具。SBT本身也很强大，两者的操作，构建流程都比较类似，所以使用maven的那种思想，去类比sbt即可。但是有一点需要弄清楚，因为目前好像eclipse中并没有sbt的工具插件，不像eclipse中有m2e，可以集成maven工具插件，所以在使用的过程中 sbt的构建过程并不是通过eclipse来完成，而是使用sbt和eclipse相互配合完成。这也是在使用过程中有点不方便的地方。
要使用sbt,先安装吧，本章就讲在windows下的安装方法吧 http://www.scala-sbt.org/download.html 下载msi安装包。本文安装使用0.13.9版本。
安装后的目录非常 简洁： /bin /conf 配置好系统环境变量PATH，添加bin目录所在。这样我们就可以在任意位置执行sbt.bat脚本了。
打开cmd命令窗口，输入sbt 命令。 sbt首次运行的时候需要下载一些依赖包，说到下载依赖包，这里再次插入一个话题拿就是当网络环境中有代理服务器的时候。由于在公司环境下有代理服务器的问题，所以在执行sbt之前一定主要要配置好代理服务器的地址信息。 我就简单粗暴的再环境变量里面分别配置了
http_proxy=http://ip:port
https_proxy=https://ip:port
两个环境变量，这样就能顺利下载依赖包了。
依赖包下载完成之后，就会顺利的进入到了stb的交互式操作控制台。
我们知道常见maven项目后，在项目目录下会有pom.xml文件，会有相应的.project, .classpath文件，这都是maven工程所特有的工程目录结构，
同样的基于sbt构建的scala项目工程也需要有相应的工程目录结构，我们想要生成这样的目录结构需要一个 sbt-eclipse插件。 https://github.com/typesafehub/sbteclipse ，
那么现在的问题就是如何将这个插件添加到sbt中去：在安装sbt后，会在操作系统的用户目录下面生成一个目录文件
在上图目录中，创建一个文件夹命名为plugins，在该文件夹中创建一个文本文件，命名为build.sbt
该配置文件就是相对于sbt的一个全局配置。
我们在该文件中添加，sbteclipse插件。
addSbtPlugin("com.typesafe.sbteclipse" % "sbteclipse-plugin" % "2.4.0")
在cmd命令行，重新执行sbt命令，sbt会下载sbt-eclipse插件了。
安装完成sbt-eclipse插件以后，那么使用sbt就可以创建 eclipse下的基于sbt构建的项目工程结构了。
在eclipse的工程目录 workspace下新建一个文件夹，文件夹命名为scala-sbt-test。
在cmd命令窗口中定位到scala-sbt-test目录下，执行sbt命令，进入sbt控制台。sbt提供了eclipse命令，来生成基于sbt构建的eclipse工程结构。
生成好了 eclipse下基于sbt构建的工程目录结构，那么接下来就是将项目导入到eclipse
目前为止，基于sbt构建的eclipse工程已经搭建完成。
maven项目的构建需要pom.xml，同样的sbt项目的构建需要build.sbt配置文件，
第三方包的依赖，仓库都配置，sbt相关的配置项都在build.sbt中配置添加。（具体该配置文件中配置什么，怎么配置，本文就详述了，具体可看sbt官网描述。）
注意：每次当build.sbt中相关配置变化后，需要生效的话，都需要执行 sbt eclipse命令来更新应用。
最后说一下 打包实现。
maven中打包需要assembly插件，同样的sbt中也提供了assembly插件。
在全局build.sbt配置文件中，添加assembly插件
addSbtPlugin("com.eed3si9n" % "sbt-assembly" % "0.11.2")
在项目工程下的build.sbt配置文件中，添加对 assembly插件的引用
import AssemblyKeys._
assemblySettings
打包执行：
sbt assembly
命令。
最后把全局build.sbt内容以及项目下build.sbt文件内容分别展示下
全局build.sbt
resolvers += Resolver.url("artifactory", url("http://scalasbt.artifactoryonline.com/scalasbt/sbt-plugin-releases"))(Resolver.ivyStylePatterns)
resolvers += "Typesafe Repository" at "http://repo.typesafe.com/typesafe/releases/"
addSbtPlugin("com.typesafe.sbteclipse" % "sbteclipse-plugin" % "2.4.0")
addSbtPlugin("com.eed3si9n" % "sbt-assembly" % "0.11.2")
import AssemblyKeys._
assemblySettings
name := "spark-scala-wordcount-network"
version := "1.0"
scalaVersion := "2.11.7"
EclipseKeys.createSrc := EclipseCreateSrc.Default + EclipseCreateSrc.Resource
libraryDependencies ++= Seq(
"org.apache.spark" % "spark-core_2.10" % "1.3.0" % "provided",
"org.apache.spark" % "spark-streaming_2.10" % "1.3.0" % "provided",
"log4j" % "log4j" % "1.2.16"
)
resolvers ++= Seq(
// HTTPS is unavailable for Maven Central
"Maven Repository" at "http://repo.maven.apache.org/maven2",
"Apache Repository" at "https://repository.apache.org/content/repositories/releases",
"JBoss Repository" at "https://repository.jboss.org/nexus/content/repositories/releases/",
"MQTT Repository" at "https://repo.eclipse.org/content/repositories/paho-releases/",
"Cloudera Repository" at "http://repository.cloudera.com/artifactory/cloudera-repos/",
"nexus" at "http://172.16.25.142/nexus/content/repositories/releases/",
"nexus snapshot" at "http://172.16.25.142/nexus/content/repositories/snapshots/",
Resolver.mavenLocal
)
2105
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
