property operate

import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.io.InputStream;
import java.util.List;
import java.util.Properties;

public class PropertyUtil {
	private static boolean getCounter = false;

	/** * @param args * @throws FileNotFoundException */
	public static void main(String[] args) throws FileNotFoundException { // TODO
		// Auto-generated
		// method
		// stub
		PropertyUtil.getProperties();
		System.out.println(PropertyUtil.isGetCounter());
	}

	public static Properties getProperties() throws FileNotFoundException {
		Properties p = new Properties();
		loadProperties(p);
		return p;
	}

	private static List loadProperties(Properties p)
			throws FileNotFoundException {
		InputStream inputStream = new FileInputStream(
				"C:\\ns22\\sbox\\src\\corejava\\src\\myProperties.properties");
		List properties = null;
		try {
			p.load(inputStream);
		} catch (IOException e) {
			e.printStackTrace();
		}
		return properties;
	}

	public static void setGetCounter() throws FileNotFoundException {
		Properties p = getProperties();
		if (p.containsKey("getCounter")) {
			System.out.println(p.getProperty("getCounter"));
			if (p.getProperty("getCounter").equals("true"))
				getCounter = true;
			else
				getCounter = false;
		}
	}

	public static boolean isGetCounter() throws FileNotFoundException {
		setGetCounter();
		return getCounter;
	}
}

1、资源项目源码均已通过严格测试验证,保证能够正常运行; 2、项目问题、技术讨论,可以给博主私信或留言,博主看到后会第一时间与您进行沟通; 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用,尤其对于人工智能、计算机科学与技术等相关专业,更为适合; 、4下载使用后,可先查看README.md或论文文件(如有),本项目仅用作交流学习参考,请切勿用于商业用途。 5、资源来自互联网采集,如有侵权,私聊博主删除。、可私 6信博主看论文后选择购买源代码。 1、资源项目源码均已通过严格测试验证,保证能够正常运行; 2、项目问题、技术讨论,可以给博主私信或留言,博主看到后会第一时间与您进行沟通; 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用,尤其对于人工智能、计算机科学与技术等相关专业,更为适合; 、4下载使用后,可先查看README.md或论文文件(如有),本项目仅用作交流学习参考,请切勿用于商业用途。 5、资源来自互联网采集,如有侵权,私聊博主删除。、可 6私信博主看论文后选择购买源代码。 1、资源项目源码均已通过严格测试验证,保证能够正常运行; 2、项目问题、技术讨论,可以给博主私信或留言,博主看到后会第一时间与您进行沟通; 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用,尤其对于人工智能、计算机科学与技术等相关专业,更为适合; 、4下载使用后,可先查看README.md或论文文件(如有),本项目仅用作交流学习参考,请切勿用于商业用途。 5、资源来自互联网采集,如有侵权,私聊博主删除。、可私 6信博主看论文后选择购买源代码。
以下是抽取增量数据进入Hudi的代码: ```scala import org.apache.spark.sql.functions._ import org.apache.hudi.QuickstartUtils._ val jdbcUrl = "jdbc:mysql://localhost:3306/shtd_store?useSSL=false&serverTimezone=UTC" val dbProperties = new java.util.Properties() dbProperties.setProperty("user", "root") dbProperties.setProperty("password", "root") val user_df = spark.read.jdbc(jdbcUrl, "user_info", dbProperties) val hudi_options = Map[String, String]( HoodieWriteConfig.TABLE_NAME -> "user_info", HoodieWriteConfig.RECORDKEY_FIELD_OPT_KEY -> "id", HoodieWriteConfig.PRECOMBINE_FIELD_OPT_KEY -> "operate_time", HoodieWriteConfig.PARTITIONPATH_FIELD_OPT_KEY -> "etl_date", HoodieWriteConfig.KEYGENERATOR_CLASS_OPT_KEY -> "org.apache.hudi.keygen.NonpartitionedKeyGenerator", HoodieWriteConfig.OPERATION_OPT_KEY -> "upsert", HoodieWriteConfig.BULK_INSERT_SORT_MODE_OPT_KEY -> "GLOBAL_SORT", HoodieWriteConfig.BULK_INSERT_INPUT_RECORDS_NUM_OPT_KEY -> "500", HoodieWriteConfig.BULK_INSERT_PARALLELISM_OPT_KEY -> "2", HoodieWriteConfig.FORMAT_OPT_KEY -> "org.apache.hudi", HoodieWriteConfig.HIVE_SYNC_ENABLED_OPT_KEY -> "false", HoodieWriteConfig.HIVE_DATABASE_OPT_KEY -> "default", HoodieWriteConfig.HIVE_TABLE_OPT_KEY -> "user_info", HoodieWriteConfig.HIVE_PARTITION_FIELDS_OPT_KEY -> "etl_date", HoodieWriteConfig.HIVE_PARTITION_EXTRACTOR_CLASS_OPT_KEY -> "org.apache.hudi.hive.NonPartitionedExtractor", HoodieWriteConfig.HOODIE_TABLE_TYPE_OPT_KEY -> "MERGE_ON_READ" ) val etl_date = java.time.LocalDate.now.minusDays(1).format(java.time.format.DateTimeFormatter.BASIC_ISO_DATE) val hudi_df = user_df .withColumn("etl_date", lit(etl_date)) .withColumn("operate_time", coalesce(col("operate_time"), col("create_time"))) .withColumn("operate_time_long", unix_timestamp(col("operate_time"), "yyyy-MM-dd HH:mm:ss")) .withColumn("create_time_long", unix_timestamp(col("create_time"), "yyyy-MM-dd HH:mm:ss")) .withColumn("increment_ts", greatest(col("operate_time_long"), col("create_time_long"))) .filter(col("increment_ts") >= unix_timestamp(lit(etl_date), "yyyyMMdd")) .selectExpr("id", "username", "age", "gender", "create_time", "operate_time") .repartition(2) hudi_df.write .format("org.apache.hudi") .options(hudi_options) .mode("append") .save("hdfs://localhost:9000/user/hive/warehouse/ods_ds_hudi.db/user_info") ``` 执行完毕后,可以在Hive中使用`show partitions ods_ds_hudi.user_info`命令查看分区情况。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值