spark简单应用

在cmd 中
C:\Users\Administrator>cd /Windows/System32
C:\Windows\System32>pyspark

启动spark

>>> sc
<pyspark.context.SparkContext object at 0x0000026F3680CE48>
>>> lines=sc.textFile("heyang.txt")
>>> chiliLines=lines.filter(lambda line:"chili"in line)
>>> chiliLines.first()
'instantNoodles   chili  onion  mushroom  tomato  potato   pumpkin  ham  aginomoto              '
>>> chiliLines.count()
18

计算chili有多少个
filter()筛选文件中包含某个特定单词的行，以chili为例。