大数据笔记：spark篇（一）

开篇

学了两天scala，有点头大，心静不下来，这边还是整理林博士的spark教程，编程语言是python，这样我可能会好受点。详细内容见链接。我希望突出重点，写出简洁的笔记，同时也能同步自己的困惑。

Spark简介

大数据笔记

RDD执行过程

例1：一个Spark的“Hello World”程序
这里以一个“Hello World”入门级Spark程序来解释RDD执行过程，这个程序的功能是读取一个HDFS文件，计算出包含字符串“Hello World”的行数。

启动pyspark

PYSPARK_PYTHON=python3 ./bin/pyspark

在pyspark的交互环境下，输入如下代码

fileRDD = sc.textFile('hdfs://localhost:9000/test.txt')
def