sql dataset

 //建立连接
            SqlConnection connection = new SqlConnection(@"Data Source=localhost;Initial Catalog=zl;user id=admin;pwd=admin");
            connection.Open();
            //查询语句字符串
            SqlDataAdapter adapter = new SqlDataAdapter("select * from TradeTree",connection);
            //
            SqlCommandBuilder Builder = new SqlCommandBuilder(adapter);

            DataSet dataset = new DataSet();

            adapter.Fill(dataset,"TradeTree");

            Console.WriteLine("what do you see:{0}",dataset.Tables["TradeTree"].Rows[3]["Name"]);

            connection.Close();

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Spark SQL中的Dataset是一种表示分布式数据集的抽象概念,它可以通过编程接口进行操作和转换,支持强类型和弱类型的数据集。下面介绍几种Dataset的处理方法。 1. 创建Dataset 可以通过Spark SQL中的createDataset方法创建一个Dataset,例如: ``` val data = Seq(1, 2, 3, 4, 5) val ds = spark.createDataset(data) ``` 2. 转换Dataset 可以通过一系列的转换方法对Dataset进行转换,例如: ``` val ds1 = ds.filter(_ > 3) //过滤数据 val ds2 = ds.map(_ * 2) //映射数据 val ds3 = ds.drop(2) //删除前2行数据 val ds4 = ds.limit(3) //获取前3行数据 ``` 3. 聚合Dataset 可以通过聚合方法对Dataset进行聚合操作,例如: ``` val ds1 = ds.groupBy("col1").agg(avg("col2"), sum("col3")) //按照col1分组,计算col2的平均值和col3的总和 val ds2 = ds.groupByKey(_.col1).agg(avg(_.col2), sum(_.col3)) //按照col1分组,计算col2的平均值和col3的总和 ``` 4. 连接Dataset 可以通过连接方法将多个Dataset进行连接操作,例如: ``` val ds1 = Seq((1,"A"),(2,"B"),(3,"C")).toDF("id", "name") val ds2 = Seq((1,"D"),(2,"E"),(3,"F")).toDF("id", "name") val ds3 = ds1.join(ds2, Seq("id"), "inner") //内连接 val ds4 = ds1.join(ds2, Seq("id"), "left_outer") //左连接 val ds5 = ds1.join(ds2, Seq("id"), "right_outer") //右连接 ``` 5. 操作Dataset中的列 可以通过列操作方法对Dataset中的列进行操作,例如: ``` val ds1 = ds.withColumn("col1", ds("col1") + 1) //添加一个新的列col1,值为原来的col1+1 val ds2 = ds.select("col1", "col2") //选择col1和col2两列 val ds3 = ds.drop("col1") //删除col1列 val ds4 = ds.renameColumn("col1", "new_col1") //将col1列重命名为new_col1 ``` 6. 缓存Dataset 可以通过cache方法将Dataset缓存到内存中,以提高后续的查询效率,例如: ``` val ds = spark.read.parquet("hdfs://...") ds.cache() ds.filter("col1 > 10").count() ds.filter("col2 > 20").count() ``` 上述方法只是Dataset处理方法中的一部分,还有很多其他的方法和技巧可以用来处理和操作Dataset
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值