Spark2.3.0通过jdbc访问postgresql,通过jdbc()方法实现条件查询获取结果集生成DataSet,查询结果只包含符合条件的数据。
在SparkSQL Java API中 有两种方法可实现条件查询:
①使用.where()添加筛选条件:
SparkSession spark = SparkSession.builder()
.appName("train_statistics")
.master("local[*]")
.getOrCreate();
//连接参数,postgresql的用户名,密码
Properties prop = new Properties();
prop.put("user", "postgres");
prop