pyspark 下载配置以及简单的使用

写在前面

在用Windows学习spark时候，希望利用pyspark的api进行编程，记录一下安装以及踩坑的地方

步骤

1. 安装jdk8

2. 配置jdk8的环境变量

3. 安装anaconda

4. 用conda install -c conda-forge pyspark 这句话安装

第4步有个坑，用conda install pyspark安装以后，spark总是起不来

5. 简单的代码示例

from pyspark import SparkConf, SparkContext

conf = SparkConf().setMaster("local").setAppName("my app")
sc = SparkContext(conf=conf)

# 路径需要注意，前面要有三个/
logFile = "file:///D:\learnSpark\my_file.txt"

logData = sc.textFile(logFile, 2).cache()

numAs = logData.filter(lambda line: 'a' in line).count()
numBs = logData.filter(lambda line: 'b' in line).count()
print("a: %d, b: %d"%(numAs, numBs))

待补充。。。