1, 下载spark版本:
git clone git://github.com/apache/spark.git -b branch-1.3
2, 编译spark:
mvn -DskipTests cleanpackage
3,使用spark(python环境下)
pyspark
基于README.cmd 生成RDD:
>>> textFile= sc.textFile("README.md")
计算RDD行数:
>>>textFile.count()
126
进一步计算带有"spark" 字符的行数
>>>linesWithSpark=textFile.filter(lambdaline:"Spark"inline)
>>>textFile.filter(lambdaline:"Spark"inline).count()
15
4, 使用self-contained 的应用来调用spark的API接口(以python为例):
"""SimpleApp.py"""
frompysparkimportSparkContext
logFile="YOUR_SPARK_HOME/README.md"
# Should be some file on your system
sc=SparkContext("local","Simple App")
logData=sc.textFile(logFile).cache()
numAs=logData.filter(lambdas:'a'ins).count()
numBs=logData.filter(lambdas:'b'ins).count()
print"Lines with a: %i, lines with b: %i"%(numAs,numBs)
程序的目的是计算带有"a"和带有"b"字符的行数:
输出结果:
总之,利用spark做数据分析,配置简单,运算快速。