Operate the HTML's select object

var select = document.getElementById("selectID");

var optionValue = select.options[select.selectedIndex].value;

var optionText = select.options[select.selectedIndex].text;




以下是Scala代码示例,实现抽取增量数据进入Hudi的ods_ds_hudi库中表user_info: ```scala import org.apache.hudi.DataSourceWriteOptions._ import org.apache.hudi.QuickstartUtils._ import org.apache.hudi.config.HoodieWriteConfig._ import org.apache.hudi.hive.MultiPartKeysValueExtractor import org.apache.hudi.keygen.SimpleKeyGenerator import org.apache.spark.sql.{DataFrame, SaveMode, SparkSession} import java.time.LocalDate import java.time.format.DateTimeFormatter object IncrementalDataImport { def main(args: Array[String]): Unit = { val spark = SparkSession.builder() .appName("IncrementalDataImport") .config("spark.serializer", "org.apache.spark.serializer.KryoSerializer") .getOrCreate() val jdbcUrl = "jdbc:mysql://localhost:3306/shtd_store?useSSL=false&serverTimezone=UTC" val jdbcUser = "root" val jdbcPassword = "root" val hudiTablePath = "/user/hive/warehouse/ods_ds_hudi.db/user_info" val hudiTableName = "user_info" val primaryKey = "id" val preCombineField = "operate_time" val partitionField = "etl_date" // 获取当前比赛日前一天的日期 val etlDate = LocalDate.now().minusDays(1).format(DateTimeFormatter.ofPattern("yyyyMMdd")) // 读取MySQL中的user_info表 val user_info_df = spark.read.format("jdbc") .option("url", jdbcUrl) .option("driver", "com.mysql.jdbc.Driver") .option("dbtable", "user_info") .option("user", jdbcUser) .option("password", jdbcPassword) .load() // 获取Hudi表中的增量数据 val hudiConfig = getQuickstartWriteConfigs val hudiOptions = Map(HIVE_SYNC_ENABLED_OPT_KEY -> "true", HIVE_PARTITION_FIELDS_OPT_KEY -> partitionField, HIVE_DATABASE_OPT_KEY -> "ods_ds_hudi", HIVE_TABLE_OPT_KEY -> hudiTableName, HIVE_URL_OPT_KEY -> "jdbc:hive2://localhost:10000") val hudiDf = spark.read.format("org.apache.hudi") .options(hudiOptions) .load(hudiTablePath + "/*/*/*/*") // 取MySQL中每条数据的operate_time和create_time中较大的那个时间作为增量字段 val user_info_incremental_df = user_info_df .filter("operate_time is not null or create_time is not null") .withColumn("incremental_time", when($"operate_time".isNull, $"create_time").otherwise(when($"create_time".isNull, $"operate_time").otherwise(greatest($"operate_time", $"create_time")))) .drop("operate_time", "create_time") .withColumnRenamed("incremental_time", preCombineField) // 将新增的数据抽入Hudi表中 val user_info_new_df = user_info_incremental_df.join(hudiDf, primaryKey) .where(s"${hudiTableName}.${preCombineField} < ${user_info_incremental_df}.${preCombineField}") .select(user_info_incremental_df.columns.head, user_info_incremental_df.columns.tail: _*) .withColumn(partitionField, lit(etlDate)) // 将数据写入Hudi表中 user_info_new_df.write.format("org.apache.hudi") .options(hudiConfig) .option(PRECOMBINE_FIELD_OPT_KEY, preCombineField) .option(RECORDKEY_FIELD_OPT_KEY, primaryKey) .option(PARTITIONPATH_FIELD_OPT_KEY, partitionField) .option(TABLE_TYPE_OPT_KEY, "COPY_ON_WRITE") .option(KEYGENERATOR_CLASS_OPT_KEY, classOf[SimpleKeyGenerator].getName) .option(HIVE_PARTITION_EXTRACTOR_CLASS_OPT_KEY, classOf[MultiPartKeysValueExtractor].getName) .mode(SaveMode.Append) .save(hudiTablePath) } } ``` 在该代码示例中,我们使用了Apache Hudi库来实现增量数据导入,通过读取MySQL中的user_info表,并将其增量数据与Hudi表中的数据进行比较,只将新增的数据抽入Hudi表中。同时,我们添加了分区字段etl_date,将数据按照日期进行分区。其中,primaryKey指定为id,preCombineField指定为operate_time,partitionField指定为etl_date
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值