spark读取csv文件——scala

spark读取csv文件——scala

下面介绍如何通过scala读取csv文件

读取的过程是首先按照普通额文本文件进行读取，然后通过opencsv的jar包进行转换，通过对每行进行读取，生成string数组。

好，下面上货。

import java.io.StringReader
import au.com.bytecode.opencsv.CSVReader

object CC{
        def my{
                val input = sc.textFile("file:///home/user/sparktemp/test.csv")
                input.collect().foreach(println)
                val result = input.map{ line =>
                val reader = new CSVReader(new StringReader(line));
                  reader.readNext()
                }
                println(result.getClass)
                result.collect().foreach(x => {x.foreach(println);println("======")})
        }
}

看一下运行截图：