利用Spark Streaming来实现实时的数据管道服务

现在需要搜集用户的行为记录，之前我们打算采用AWS提供的服务，大致架构是这样的：

建立一个rest来收集来自服务器或者是终端的(从手机端，网页)的数据，之后将这些数据放到 Kinesis Streaming之中，然后通过AWS的firehose将数据放到S3或者RedShift中。但是现在有两个问题，Amazon中国 目前还没有firehose这个service，二是可能打算将获取到的数据流放到HDFS或者其他地方，并且可能需要做一些比较简单的运算。考虑到效率以及拓展性，我们采用了Spark Streaming来代替firehose(关于Spark Streaming效率问题，可以参考这里​)。

为什么不自己写呢？我想用这句话回答会比较好－"You can spend more time focusing on your application and less time on your infrastructure."。看你关心的层面了，做数据分析，应该把更多精力放在核心业务上。

关于Spark Streaming以及如何做集成Kinesis，可以参看官方文档：

1.Spark Streaming Programming Guide

2.Spark Streaming + Kinesis Integration

关于spark-streaming-kinesis-asl_2.10, 和spark-core会有版本冲突，下面给出我的依赖关系，供大家参考：

scalaVersion := "2.10.4"

libraryDependencies ++= Seq(
  "com.amazonaws" % "aws-java-sdk-kinesis" % "1.10.4",
  "com.amazonaws" % "amazon-kinesis-client" % "1.4.0",
  "org.apache.spark" % "spark-core_2.10" % "1.4.1" % "provided",
  "org.apache.hadoop" % "hadoop-client" % "2.6.0",
  "org.apache.hbase" % "hbase-client" % "1.0.0",
  "org.apache.hbase" % "hbase-common" % "1.0.0",
  "org.apache.spark" % "spark-streaming_2.10" % "1.4.1",
  "org.apache.spark" % "spark-streaming-kinesis-asl_2.10" %  "1.4.1"
)