java
weixin_44840312
这个作者很懒,什么都没留下…
展开
-
JAVA版本 SparkSQL读取MongoDB 和 Mysql双数据源
话不多说直接上代码,就是简单demoSparkSession spark = SparkSession.builder() .master("local[*]") .appName("FactUserVehicle") ...原创 2019-06-04 18:48:16 · 1017 阅读 · 0 评论 -
Java lambda 简化JavaSpark Core代码
直接上个写得很烂的小代码片段,慢慢体会。。。SparkSession spark = SparkSession.builder() .master("local[*]") .appName("xxx") ...原创 2019-06-04 19:04:35 · 187 阅读 · 0 评论 -
SparkSql在读取Mysql大表时,遇到崩溃的问题
最近被要求将python读取Mysql的脚本,改写成spark分布式的代码。虽然说感觉这么写完并没有体现spark的优势,反而更像是给客户提高逼格用的。回归正题,当我看到代码和实际的mysql库时内心是崩溃的,因为是单点的mysql,并且单表的数据量已经超过了3700w条,再加上提供的开发环境资源实在有点紧张,在读取mysql大表的时候直接出现连接超时,或是失去连接等问题。最终在官网上找到了可...原创 2019-07-05 14:28:48 · 919 阅读 · 0 评论