pyspark使用记录

2016年在清华研究

--》启动python版的spark

直接输入pyspark

--》帮助

pyspark --help

---》执行python实例

spark-submit /usr/local/spark-1.5.2-bin-hadoop2.6/examples/src/main/python/pi.py 

--》数据并行化,创建并行化集合

输入pyspark

>>>data=[1,2,3,4,5]

>>>disData=sc.parallelize(data)

>>>disData.reduce(lambda  a,b:a+b)

--》读取及操作

读取本地数据集

>>>distFile=sc.textFile(" file:///usr/local/spark-1.5.2-bin-hadoop2.6/examples/src/main/resources/people.json")

叠加所有文本行的长度

>>>distFile.map(lambda s: len(s)).reduce(lambda a, b: a + b) 

--》pyton版的wordCount

1.建立一个python文件夹

2.vi 一个my.py,输入

import sys

from pyspark import SparkContext

from pyspark import SparkConf

def run():

  print '************'

  print 'hello,zhaodezan'

  conf = SparkConf().setAppName('wordCount')

  sc = SparkContext(conf=conf)

  distFile =  sc.textFile(' file:///home/zhaodz/sbt/wordCount/count.txt')

  print 'the number is'

  print  distFile.map(lambda s:len(s)).reduce(lambda a,b:a+b)

  print 'goodBye,zhaodezan'

  print '************'

run()

3.直接在命令行中输入spark-submit my.py即可计算出

参考资料 http://www.csdn.net/article/2015-04-24/2824552