meta使用说明.docx

META读IEMI号

 

1、主界面设置,如下图:

 

2、连接设备:

   先点击 disconnect 按钮,再点击Reconnect:

 

3、关闭设备,然后插入USB线。正常如下图:

 

4、添加databass:action --> open nvram database....。

 

5、关闭当前弹出框,因为这不是需要的弹出框,如下图:

如图,下来选择框,选择IMEI download 项,并点击选中,弹出如下图所示:

 

6、查看IMEI号:先取消掉Check Checksum,再点击Upload from flash 按钮栏,在IMEI框中显示当前设备的IMEI号,如下图显示:

 

抽取MySQL的shtd_industry库中ChangeRecord表的全量数据进入Hudi的hudi_gy_ods库中表changerecord的Scala代码如下: ```scala import org.apache.spark.sql.SparkSession import org.apache.hudi.DataSourceWriteOptions._ import org.apache.hudi.config.HoodieWriteConfig import org.apache.hudi.hive.MultiPartKeysValueExtractor import org.apache.hudi.keygen.SimpleKeyGenerator object ChangeRecordDataExtract { def main(args: Array[String]): Unit = { val spark = SparkSession.builder() .appName("ChangeRecordDataExtract") .enableHiveSupport() .getOrCreate() val etlDate = args(0) val hoodieOptions = Map( TABLE_TYPE_OPT_VAL -> MOR_TABLE_TYPE_OPT_VAL, TABLE_NAME -> "changerecord", RECORDKEY_FIELD_OPT_KEY -> "ChangeID", PRECOMBINE_FIELD_OPT_KEY -> "ChangeEndTime,ChangeID,ChangeMachineID", PARTITIONPATH_FIELD_OPT_KEY -> "etldate", OPERATION_OPT_KEY -> UPSERT_OPERATION_OPT_VAL, KEYGENERATOR_CLASS_OPT_KEY -> classOf[SimpleKeyGenerator].getName, PATH_OPT_KEY -> s"/user/hive/warehouse/hudi_gy_ods.db/changerecord", HUDI_CLEANER_POLICY_OPT_KEY -> "KEEP_LATEST_COMMITS", META_SYNC_ENABLED_OPT_KEY -> "false", HIVE_STYLE_PARTITIONING_OPT_KEY -> "true", HIVE_PARTITION_EXTRACTOR_CLASS_OPT_KEY -> classOf[MultiPartKeysValueExtractor].getName, HIVE_PARTITION_FIELDS_OPT_KEY -> "etldate", HIVE_DATABASE_OPT_KEY -> "hudi_gy_ods", HIVE_TABLE_OPT_KEY -> "changerecord" ) val jdbcUrl = "jdbc:mysql://localhost:3306/shtd_industry" val jdbcProperties = new java.util.Properties() jdbcProperties.setProperty("user", "root") jdbcProperties.setProperty("password", "123456") val changeRecordDF = spark.read.jdbc(jdbcUrl, "ChangeRecord", jdbcProperties) .withColumn("etldate", lit(etlDate)) changeRecordDF.write .format("org.apache.hudi") .options(hoodieOptions) .mode("append") .save() spark.sql("select count(*) from hudi_gy_ods.changerecord").show() spark.stop() } } ``` 其中,etlDate为当前比赛日的前一天日期,使用lit函数将该值添加为一个新的列etldate。hoodieOptions为Hudi的写入配置,对应Hudi表changerecord。jdbcUrl和jdbcProperties为连接MySQL的配置,使用spark.read.jdbc读取MySQL表ChangeRecord的数据。最后使用Hudi的save方法将数据写入Hudi表中,并使用spark.sql查询Hudi表changerecord的数据量。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

faver_v

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值