SparkSql模式:
SparkCore模式:
每一行都跟一个下标 去掉下标为0的即可
sc.textFile("hdfs://192.168.119.180:9820/app/data/exam2/xxx.csv")
.zipWithIndex().filter(_._2>=1) //删除表头第一行
还有个办法 比较繁琐:
就是先算出第一行的值 然后过滤掉
另外有个疑问 sparksql怎么读取txt文件?其实可以把txt当做csv读:
//也可以把txt文件当csv文件读取也可以
spark.read
.option("sep","\t")
.csv("E:\\Idea\\sparksql\\src\\data\\product.txt").show()