要让python程序具有spark的功能,能够编写出在spark上运行的程序,需要先导入pyspark的包
frompyspark import SparkContext
然后假设要从一个文本文件中读取数据,进行词频统计,那么就要先读取文本文件
textFile= sc.textFile("file:///usr/local/spark/mycode/wordcount/word.txt")
textFile是一个方法,可以用来加载文本数据,如果要加载本地文件,就必须使用file:///加路径的形式
从文本中读取数据后就要开始进行词频统计了
wordCount= textFile.flatMap(lambda line: line.split(" ")).map(lambda word:(word,1)).reduceByKey(lambda a, b : a + b)
flatMap会逐行遍历文本内容,然后对每行内容进行flatMap函数括号内的操作,即lambda line:line.split(" "),该操作会把每一行内容赋值给line,然后对每一个line进行split(" ")操作,即对每一行用空格分隔成单独的单词,这样每一行都是一个由单词组成的集合,因为有很多行,所以就有很多个这样的单词集合,执行完textFile.flatMap(lambda line: line.split(" "))后会把这些单词集合组成一个大的单词集合
map(lambdaword: (word,1))中的map会对这个所有单词的集合进行遍历,对于每一个单词进行map函数内的操作,即lambda