CDH5 Hue Spark报错完美解决方案

CDH5自己集成了Spark，根据官方guidline可以很方便的安装

http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH5/5.0/CDH5-Installation-Guide/CDH5-Installation-Guide.html

装好之后，可以提交job，可以scala交互。

可是当安装Hue，并用Hue自带的Spark Igniter来操纵Spark时，会报错，例如：

1.  Spark Editor     The app won't work without a running Job Server  (Hue的首页界面看到）

2.  base   ERROR    Internal Server Error: /jobbrowser/    (/var/log/hue/error.log看到）

3. Spark Igniter 无法上传文件

经过google，发现原因是Spark job server没装。网上有两种安装方式，可是每一种都不能独立成功，需要两者结合。这里先列出这两种安装方式，再说怎么结合。

方式a:

a.1) 下载sbt运行环境 wget http://repo.scala-sbt.org/scalasbt/sbt-native-packages/org/scala-sbt/sbt/0.13.1/sbt.rpm

a.2) 安装sbt  rpm -ivh sbt.rpm

a.3) git clone https://github.com/ooyala/spark-jobserver.git

a.4) cd spark-jobserver

a.5) sbt

a.6) re-start

方式b:

b.1) git clone https://github.com/ooyala/incubator-spark.git spark-server

b.2) cd spark-server

b.3) sbt/sbt

b.4) project

b.5) jobserver re-start

为了结合方式a和方式b，按这个顺序执行

b.1) -> b.2) -> b.3) -> a.1) -> a.2 -> a.3) -> a.4) -> a.5) -> a.6)

注意：job server启动后，不会退回到终端。需要另起一个终端来restart hue

这样再用浏览器打开 huehostname:8888 应该可以了。