(base) [root@node02 ~]#虚拟机名字有base前缀字样,怎么清除,,,

echo 'conda deactivate' >> /root/.bashrc

在这里插入图片描述

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
下面是一个示例Scala代码,用于将MySQL的shtd_store库中的数据增量抽取到Hudi的ods库中的对应表中。需要注意的是,这只是一个示例代码,具体实现可能需要根据实际情况进行调整。 ```scala import org.apache.hudi.DataSourceWriteOptions._ import org.apache.hudi.QuickstartUtils.getQuickstartWriteConfigs import org.apache.spark.sql.{DataFrame, SaveMode, SparkSession} object MysqlToHudi { def main(args: Array[String]): Unit = { val spark: SparkSession = SparkSession.builder() .appName("mysql-to-hudi") .master("local[*]") .getOrCreate() // MySQL连接信息 val url = "jdbc:mysql://localhost:3306/shtd_store" val user = "root" val password = "123456" // 读取user_info表 val user_info: DataFrame = spark.read.jdbc(url, "user_info", user, password) user_info.write.format("org.apache.hudi") .options(getQuickstartWriteConfigs) .option(PRECOMBINE_FIELD_OPT_KEY, "update_time") .option(RECORDKEY_FIELD_OPT_KEY, "user_id") .option(PARTITIONPATH_FIELD_OPT_KEY, "city_id") .option(TABLE_NAME, "user_info") .mode(SaveMode.Append) .save("hdfs://localhost:9000/ods/user_info") // 读取sku_info表 val sku_info: DataFrame = spark.read.jdbc(url, "sku_info", user, password) sku_info.write.format("org.apache.hudi") .options(getQuickstartWriteConfigs) .option(PRECOMBINE_FIELD_OPT_KEY, "update_time") .option(RECORDKEY_FIELD_OPT_KEY, "sku_id") .option(TABLE_NAME, "sku_info") .mode(SaveMode.Append) .save("hdfs://localhost:9000/ods/sku_info") // 读取base_province表 val base_province: DataFrame = spark.read.jdbc(url, "base_province", user, password) base_province.write.format("org.apache.hudi") .options(getQuickstartWriteConfigs) .option(PRECOMBINE_FIELD_OPT_KEY, "update_time") .option(RECORDKEY_FIELD_OPT_KEY, "province_id") .option(TABLE_NAME, "base_province") .mode(SaveMode.Append) .save("hdfs://localhost:9000/ods/base_province") // 读取base_region表 val base_region: DataFrame = spark.read.jdbc(url, "base_region", user, password) base_region.write.format("org.apache.hudi") .options(getQuickstartWriteConfigs) .option(PRECOMBINE_FIELD_OPT_KEY, "update_time") .option(RECORDKEY_FIELD_OPT_KEY, "region_id") .option(TABLE_NAME, "base_region") .mode(SaveMode.Append) .save("hdfs://localhost:9000/ods/base_region") // 读取order_info表 val order_info: DataFrame = spark.read.jdbc(url, "order_info", user, password) order_info.write.format("org.apache.hudi") .options(getQuickstartWriteConfigs) .option(PRECOMBINE_FIELD_OPT_KEY, "update_time") .option(RECORDKEY_FIELD_OPT_KEY, "order_id") .option(PARTITIONPATH_FIELD_OPT_KEY, "user_id") .option(TABLE_NAME, "order_info") .mode(SaveMode.Append) .save("hdfs://localhost:9000/ods/order_info") // 读取order_detail表 val order_detail: DataFrame = spark.read.jdbc(url, "order_detail", user, password) order_detail.write.format("org.apache.hudi") .options(getQuickstartWriteConfigs) .option(PRECOMBINE_FIELD_OPT_KEY, "update_time") .option(RECORDKEY_FIELD_OPT_KEY, "detail_id") .option(PARTITIONPATH_FIELD_OPT_KEY, "order_id") .option(TABLE_NAME, "order_detail") .mode(SaveMode.Append) .save("hdfs://localhost:9000/ods/order_detail") spark.stop() } } ``` 在示例代码中,我们使用SparkSession连接MySQL数据库,并使用`read.jdbc`方法读取各个表的数据。然后,我们使用Hudi提供的API将数据写入到对应的Hudi表中,例如,对于`user_info`表,我们需要指定Hudi表的主键、分区键、表名等信息,并将数据保存到HDFS上的对应路径中。这样,我们就可以将MySQL中的数据增量抽取到Hudi的ods库中了。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值