Spark日志——字符串切分|问题，连接mysql没有合适驱动包问题，数据库插入数据的顺序问题

2019-05-19 日志记录

项目

高效数据分析

内容

使用spark1.6.0（scala）根据话单数据统计其中某个字段，排序并导入mysql。

问题

1、读取到以”|“为分隔符得到数据后，使用”|“split，得到的rdd格式是将一行数据所有元素全部单独拆成了单独的元素，如：

     "2091|1|23|asd" 应该拆成 Array("2091","1","23","asd")，但是实际上是Array("2","0","9","1","1","2","3","a","s","d")。

     原因和解决："|"属于特殊字符，需要转义，使用 ”\\|“。

 

2、spark程序打包提交到yarn，确定配置了jdbc driver，但还是报错，提示找不到合适的jdbc包。

     原因和解决：这是spark一个bug，不知道是不是只有1.6.0存在。我的问题并不是缺少驱动包，而是在向数据库插入数据时数据类型不匹配。这种情况只能使用spark-shell去一行行调试。

 

3、sparksql.write向mysql插入数据，发现mysql中已经排好序的数据顺序乱了，但是是有节奏的乱，看起来像是几个不同的分区各自排序然后又拼凑在一起。

    原因和解决：write方法向数据库写入数据时默认会开启多条线程去写。所以最简单的解决办法就是只开启一条线程，

df.coalesce(1).write.mode(SaveMode.Overwrite).jdbc("jdbc:mysql://ip:3306/database_01", "tables_02", prop)