spark初学
- 启动 spark shell : spark-shell .启动之后会自动创建sc的spark context对象
- 加载text文件: spark创建sc,可以加载本地文件和HDFS文件创建RDD.
val textFile = sc.textFile(“file:///usr/local/spark/README.md”) (加载本地文件)
//获取文件textFile的第一行的内容
textFile.first()
//获取RDD文件textFile所有项的计数
textFile.count()
//抽取含有spark的行,返回一个新的RDD
val lineWithSpark = textFile.filter(line => line.contains(“Spark”))
//统计新的RDD的行数
lineWithSpark.count()
可以通过RDD擦欧总进行组合,实现简易MapReduce的操作
// 找出文本中每行的最多单词数
textFile.map(line => line.split(" ").size).reduce((a, b) => if (a > b) a else b)