虽然接触大数据2年了,以前对spark使用都是和solr建索引任务,由于目前的工作很少涉及spark了,为了不遗忘,从头开始复习一下spark,不同的是这次记录下来,一来方便自己查阅,二来对于刚入门的同行也算个案例。PS.高手勿喷
1、spark读取文件,统计行数
Intellj idea 开发工具环境就不在介绍了,网上很多教程,唯一需要注意的是你的spark或者scala版本与本地一致即可。
我这里的spark 2.0.0 scala 2.10.6
package com.kite.spark.demo
import org.apache.spark.{SparkConf, SparkContext}
/**
* Created by z.guang on 2018/1/4.
* ./spark-submit --master spark://xxx:7077 --executor-memory 1G --executor-cores 4 --class com.kite.spark.demo.SparkDemo /home/hdfs/test/sparkdemo/SparkLearningDemo.jar /user/spark/samples/word_sparkexample.txt > sparkdemo.log
*/
object SparkDemo {
def main(args: Array[String]): Unit = {
//设置spark的序列号方式
System.setProperty("spark.serializer","org.apache.spark.serializer.KryoSerializer")
//初始化spark
val conf = new SparkConf().setAppName("SparkDemo"