如题,因有需求,这两天在弄这个Spark,用的是AWS的EMR,具体是什么就不解释了。上面这个问题卡了很久,故在此记录一下。
- Spark支持多种语言,如Scala、Java、Python、R,我用的是Python。
官方有个叫WordCount的Example,我没看,直接照着文档撸代码。Spark文档地址
初始化代码很简单,如下:
# main.py
from pyspark import SparkContext
from pyspark.streaming import StreamingContext
from pyspark.streaming.kinesis import KinesisUtils, InitialPositionInStream
aws_access_key_id = 'your-aws-access-key-id'
aws_secret_access_key = 'your-aws-secret-access-key'
if __name__ == '__main__':
sc = SparkContext('local[*]', 'first_test0809')
ssc = StreamingContext(sc, 1)
kinesis_stream = KinesisUtils.createStream(
ssc,
'ssc_kinesis',
'kinesistest',
'https://kinesis.us-west-2.amazonaws.com',
'region-name',
InitialPositionInStream.TRIM_HORIZON,
2,
awsAccessKeyId=aws_access_key_id,
awsSecretKey=aws_secret_access_key
)
kinesis_stream.pprint(500)
ssc.start()
ssc.awaitTermination()
kinesistest
是我创建的一个kinesis streaming,会有源源不断的数据写到这个streaming里,Spark负责处理这个streaming里的数据。
接下来就是将这个文件部署到EMR上,依然是照着文档来操作。文档地址
不得不说,AWS的文档既简约又简单,却不明了,在这个文档的指引下,没有一次我是顺利走通的。
添加Step的命令:
aws emr add-steps --cluster-id j-2AXXXXXXGAPLF --steps Type=Spark,Name="Spark Program",ActionOnFailure=CONTINUE,Args=[--class,org.apache.spark.examples.SparkPi,/usr/lib/spark/lib/spark-examples.jar,10]
这个命令要分为两部分来看,前部分是AWS自身的命令aws emr add-steps
,后部分就是Args
这个参数的值。
因为部署Spark程序实际上用的是spark-submit
命令,而Args
的值,都会传给spark-submit
。
前半部分比较简单,cluster-id
就是在创建EMR集群后自动生成的id,这里需要注意的是,创建的EMR集群必须要设置共有IP,这样外部机器才能访问到。Type
固定为Spark,Name
自己随便写,ActionOnFailure
一般都传CONTINUE,其他可选值可通过aws emr add-steps help
查看。
后半部分的Args
的相关说明在这里,说的很详细。
在部署运行之后,会报一些ClassNotFound
的错误,这种错误不要紧,把缺的jar文件当作参数传上去就能解决问题。Maven搜索地址1 | Maven搜索地址2
上面的main.py用到了两个没有的jar文件,kinesisi和kcl,为了便于观看,使用了另一种格式,如下:
aws emr add-steps --cluster-id j-2AXXXXXXGAPLF --steps file://./step.json
将参数都抽取到一个josn文件中:
[
{
"Name": "Spark Program",
"Type": "Spark",
"ActionOnFailure": "CONTINUE",
"Args": [
"--master",
"local",
"--jars",
"local:///home/hadoop/spark-streaming-kinesis-asl_2.11-2.4.3.jar,local:///home/hadoop/amazon-kinesis-client-1.11.1.jar",
"local:///home/hadoop/main.py"
]
}
]
注意,命令中所用到的所有文件,包括jar和py,都需要提前上传到机器上。具体上传方法见aws emr put
命令
至此,所有的工作基本完成,你以为这样就可以跑起来了吗?
NO!
最麻烦的问题,就是Spark版本的问题。之前用的最多、最稳定的就是1.6.5版本的,现在最新版已经2.4.3了,里面变动不小,尤其是Logging
这个类,直接内部化了。
仔细看会发现,上面的kinesis jar文件有两个版本号:2.11-2.4.3,后面的2.4.3是Spark大版本,前面的是什么我没查。在Maven里,这个版本最新的是2.12,所以最开始的时候我直接用了最新的,因为网上一直在强调的都是后面的2.4.3这个版本号,结果就出问题了,如题所写,总是报NoSuchMethodError。
2.0之前的,Logging的位置是org.apache.spark.Logging,2.0之后变成了org.apache.spark.internal.Logging,但我用的都是最新版,为什么总说找不到呢?想了想,想了又想,试了各种办法,都行不通,这个过程持续了一天多,让人头大。
后来不知是巧合,还是时候到了,偶然发现cluster机器上spark-core的版本号是2.11-2.4.3,报着尝试的心态从Maven下了2.11-2.4.3的kinesis jar文件,换上去一跑,哎,就这么成了。真是气人。
所以说呢,有些时候解决问题是很简单的,困难的是发现问题。