spark
RazorH
自学成才
展开
-
spark 编写规范及技巧
1.为了凸显规范及逼格,使用入口类。/** * @Author: Houzhq * @Date: 2019/6/11 15:37 * @Version 1.0 * @Note */object EntranceA { def main(args:Array[String]): Unit ={ args.toList match { case ta...原创 2019-06-17 16:49:52 · 970 阅读 · 0 评论 -
理解case class的用法
case class PiecewiseInfo(separateValues: List[Double]=List(0.0), allowedValues: List[(Int, Int)]=List((-1,1)) )以此 case class 为例,探讨一些特性。知识结构来自https:/...原创 2019-08-08 11:18:35 · 8651 阅读 · 0 评论 -
2019.08.12
解决一个恶心的问题。spark程序在从hdfs中读parquet文件写入mysql中报错了。出现了该错误java.sql.BatchUpdateException: Incorrect integer value: 'LHGJ11835K8000155' for column 'id' at row 1输入路径为/user/houzhq/test/AD/charge_outp...原创 2019-08-12 10:39:26 · 177 阅读 · 0 评论 -
spark验证文件夹下文件数量
有个需求,需要判断文件夹下是否有parquet文件,但是涉及到中间有一层/id=vin号/文件目录,无法用通配符、由此转化为判断hdfs文件夹下文件数量来判断。代码为 val hadoopfs: FileSystem = FileSystem.get(spark.sparkContext.hadoopConfiguration) val file = hadoopfs....原创 2019-08-12 13:37:55 · 910 阅读 · 0 评论