java dataset方法,JAVA对DataSet的操作大集合

本博文用来收集JAVA在编程中对DataSet操作所使用的方法。

/**

* 将list放map的结构 转化成dataset

* @param list

* @return

*/

private DataSet toDataSet(List list) {

DataSet dataSet = new DataSet();

if (list == null || list.isEmpty())

return dataSet;

for (int i = 0; i < list.size(); i++) {

Record record=new Record();

Map map=(Map) list.get(i);

Set set=map.keySet();

Iterator iterator =set.iterator();

while(iterator.hasNext()){

String key=(String)iterator.next();

record.set(key, map.get(key));

}

dataSet.add(record);

}

return dataSet;

}

/**

* 依据查询条件从数据集中遍历查找出记录

* @param jgdm

* @param ds

* @return

*/

public Record GetRecord(String jgdm,DataSet ds)

{

Record R = null;

Record R1 = null;

for(int i=0;i<=ds.getCount()-1;i++)

{

R1=ds.getRecord(i);

if(R1.get("zzjgdm").equals(jgdm)){

R=R1;

}

}

return R;

}

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
好的,Dataset是Spark 2.0引入的一个新的API,它是强类型的数据集合,旨在弥补DataFrame和RDD之间的差距,同时提供类型安全和面向对象的编程模型。 与DataFrame不同,Dataset不仅提供了类似于SQL的查询功能,还提供了更多的面向对象的API,因此更适合于开发人员进行复杂的数据分析和操作Dataset还具有更好的类型安全性,因为它们是强类型的,这意味着编译器可以在编译时捕获类型不匹配的错误,而不是在运行时抛出异常。 在使用Dataset时,我们可以使用Scala或Java编写类型安全的代码,并在运行时获得更好的性能。 下面是一个简单的Java示例,演示如何使用Dataset: ``` // 创建一个SparkSession对象 SparkSession spark = SparkSession.builder() .appName("Java Dataset Example") .master("local") .getOrCreate(); // 读取一个CSV文件,并将其转换为Dataset Dataset<Row> df = spark.read().format("csv") .option("header", "true") .load("path/to/file.csv"); // 将Dataset转换为类型安全的Java对象 Encoder<MyObject> myObjectEncoder = Encoders.bean(MyObject.class); Dataset<MyObject> myObjects = df.as(myObjectEncoder); // 进行复杂的操作 Dataset<MyObject> filtered = myObjects.filter(myObject -> myObject.getAge() > 18); // 将结果保存到文件中 filtered.write().format("csv").save("path/to/output"); ``` 在这个示例中,我们首先读取一个CSV文件,并将其转换为DataFrame。然后,我们使用Encoder将DataFrame转换为类型安全的Java对象。接着,我们进行过滤操作,只选择年龄大于18岁的对象,并将结果保存到文件中。 希望这个简单的示例可以帮助你了解如何使用Dataset进行数据操作

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值