pyspark之词频统计（解释）

要让python程序具有spark的功能，能够编写出在spark上运行的程序，需要先导入pyspark的包

       frompyspark import SparkContext

然后假设要从一个文本文件中读取数据，进行词频统计，那么就要先读取文本文件

       textFile= sc.textFile("file:///usr/local/spark/mycode/wordcount/word.txt")

       textFile是一个方法，可以用来加载文本数据，如果要加载本地文件，就必须使用file:///加路径的形式

从文本中读取数据后就要开始进行词频统计了

       wordCount= textFile.flatMap(lambda line: line.split(" ")).map(lambda word:(word,1)).reduceByKey(lambda a, b : a + b)

      

       flatMap会逐行遍历文本内容，然后对每行内容进行flatMap函数括号内的操作，即lambda line:line.split(" ")，该操作会把每一行内容赋值给line,然后对每一个line进行split(" ")操作，即对每一行用空格分隔成单独的单词，这样每一行都是一个由单词组成的集合，因为有很多行，所以就有很多个这样的单词集合，执行完textFile.flatMap(lambda line: line.split(" "))后会把这些单词集合组成一个大的单词集合

       map(lambdaword: (word,1))中的map会对这个所有单词的集合进行遍历，对于每一个单词进行map函数内的操作，即lambda