![](https://img-blog.csdnimg.cn/20190927151053287.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Spark
Spark
Troyong
这个作者很懒,什么都没留下…
展开
-
SparkSQL JDBC条件查询返回DataSet<Row>
Spark2.3.0通过jdbc访问postgresql,通过jdbc()方法实现条件查询获取结果集生成DataSet,查询结果只包含符合条件的数据。 在Spark官方的Java API中 org.apache.spark.sql.DataFrameReader提供了一个方法可实现条件查询: Dataset<Row> jdbc(String url, String table, String[] predicates, java.util.Properties connectionPro原创 2020-10-10 16:03:43 · 1247 阅读 · 0 评论 -
Spark Streaming消费kafka数据为减少控制台输出日志配置log4j.properties不起效的问题
在使用Spark Streaming消费Kafka数据并处理数据时会在控制台生成大量不太重要的日志,为了减少控制台输出的日志,在使用sparkConf.setLogLevel()方法达不到期望时,想通过配置log4j.properties来实现,遇到了log4j.properties不起效的问题。 当时我的maven项目的Libraries下已经有slf4j、log4j的库,但是pom.xml文件...原创 2020-03-03 17:05:59 · 763 阅读 · 0 评论 -
java.io.InvalidClassException:stream classdesc serialVersionUID = *, local class serialVersionUID=*
在项目中使用到Spark Streaming,设置了checkpoint为HDFS的路径/hadoop/datas,但运行时报错: java.io.InvalidClassException......:stream classdesc serialVersionUID = *, local class serialVersionUID=*, 提示序列化版本不一致,根据网上解决方案——显式指定se...原创 2019-08-17 22:43:19 · 3458 阅读 · 0 评论