pyspark使用记录

2016年在清华研究
--》启动python版的spark
直接输入pyspark
--》帮助
pyspark --help
---》执行python实例
spark-submit /usr/local/spark-1.5.2-bin-hadoop2.6/examples/src/main/python/pi.py 
--》数据并行化,创建并行化集合
输入pyspark
>>>data=[1,2,3,4,5]
>>>disData=sc.parallelize(data)
>>>disData.reduce(lambda  a,b:a+b)


--》读取及操作
读取本地数据集
叠加所有文本行的长度
>>>distFile.map(lambda s: len(s)).reduce(lambda a, b: a + b) 


--》pyton版的wordCount
1.建立一个python文件夹
2.vi 一个my.py,输入
import sys
from pyspark import SparkContext
from pyspark import SparkConf
def run():
  print '************'
  print 'hello,zhaodezan'
  conf = SparkConf().setAppName('wordCount')
  sc = SparkContext(conf=conf)
  distFile =  sc.textFile('file:///home/zhaodz/sbt/wordCount/count.txt')
  print 'the number is'
  print  distFile.map(lambda s:len(s)).reduce(lambda a,b:a+b)
  print 'goodBye,zhaodezan'
  print '************'
run()
3.直接在命令行中输入spark-submit my.py即可计算出
阅读更多
个人分类: spark
上一篇hadoop小结
下一篇pyspark使用小结
想对作者说点什么? 我来说一句

Learning PySpark(pdf+epub+mobi+code_file).zip

2018年05月15日 53.96MB 下载

没有更多推荐了,返回首页

关闭
关闭