第4节 hive spark 查询hudi 数据 环境cdh6.3.2

最新推荐文章于 2024-04-27 23:29:59 发布
最新推荐文章于 2024-04-27 23:29:59 发布
阅读量1.8k 收藏 3
点赞数
分类专栏： hudi 文章标签： hive spark big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dengxt/article/details/120654061
版权

使用hive带where条件查询发生错误

select uid,fullname from member_ro where uid >=0 and uid <20;

发现错误

java.io.IOException: cannot find class org.apache.hudi.hadoop.realtime.HoodieParquetRealtimeInputFormat
	at org.apache.hadoop.hive.ql.io.CombineHiveInputFormat.getRecordReader(CombineHiveInputFormat.java:696)
	at org.apache.hadoop.mapred.MapTask$TrackedRecordReader.<init>(MapTask.java:175)

在源码中查询该类HoodieParquetRealtimeInputFormat是

应该是在第3节中引入到hive lib下的 hudi-hadoop-mr-bundle-0.9.0.jar

尝试在hive query中加入

add jar hdfs://nameservice1/tmp/hiveshare/hudi-hadoop-mr-bundle-0.9.0.jar

add jar 后 member_ro 可以根据条件查询，通过查询两个rt和ro的表的建表语句对比，发现

rt表存储输入格式的 （merge on read 表就会出现rt与ro copy on write 表只会出现一个表名且不带rt/ro）

STORED AS INPUTFORMAT 'org.apache.hudi.hadoop.realtime.HoodieParquetRealtimeInputFormat'

ro表存储输入格式的

STORED AS INPUTFORMAT

'org.apache.hudi.hadoop.HoodieParquetInputFormat'

其实 add jar hudi-hadoop-mr-bundle-0.9.0.jar 包里面包含 HoodieParquetInputFormat 和 HoodieParquetRealtimeInputFormat 但是就是rt的时候报如下错误

Caused by: java.lang.IllegalArgumentException: HoodieRealtimeRecordReader can only work on RealtimeSplit and not with hdfs://nameservice1/tmp/hudi/hivetest/20200918/WebA/0ac945ef-b1f1-4a64-96b9-faa18d7c5563-0_7-34-123_20210918173310.parquet:0+3037944
	at org.apache.hudi.common.util.ValidationUtils.checkArgument(ValidationUtils.java:40)
	at org.apache.hudi.hadoop.realtime.HoodieParquetRealtimeInputFormat.getRecordReader(HoodieParquetRealtimeInputFormat.java:116)

查看源码

@Override
public RecordReader<NullWritable, ArrayWritable> getRecordReader(final InputSplit split, final JobConf jobConf,
                                                                 final Reporter reporter) throws IOException {
  // sanity check 爆出的异常是如下检测这部分，将这个检测注释掉 重新编译
  ValidationUtils.checkArgument(split instanceof RealtimeSplit,
      "HoodieRealtimeRecordReader can only work on RealtimeSplit and not with " + split);
  RealtimeSplit realtimeSplit = (RealtimeSplit) split;
  addProjectionToJobConf(realtimeSplit, jobConf);
  LOG.info("Creating record reader with readCols :" + jobConf.get(ColumnProjectionUtils.READ_COLUMN_NAMES_CONF_STR)
      + ", Ids :" + jobConf.get(ColumnProjectionUtils.READ_COLUMN_IDS_CONF_STR));
  return new HoodieRealtimeRecordReader(realtimeSplit, jobConf,
      super.getRecordReader(split, jobConf, reporter));
}

 找到linux中源码的位置

修改源码

/Hudi/hudi-hadoop-mr/src/main/java/org/apache/hudi/hadoop/realtime 

 rt 的 hive 表依旧无法读取，暂时不测试hive读，用spark读取,可能原因是不兼容问题，后面用apache 版本测试后再补充

使用spark-shell

[xxx@xxx Hudi]# spark-shell 
--master local[*] 
--jars packaging/hudi-spark-bundle/target/hudi-spark-bundle_2.11-0.9.0.jar 
--packages org.apache.spark:spark-avro_2.11:2.4.4,org.apache.spark:spark-sql_2.11:2.4.4    --conf 'spark.serializer=org.apache.spark.serializer.KryoSerializer'
scala> spark.sql("select uid,fullname from member_rt limit where uid >=0  and uid <20").show();
21/09/23 11:28:24 WARN lineage.LineageWriter: Lineage directory /var/log/spark/lineage doesn't exist or is not writable. Lineage for this application will be disabled.
+---+--------+                                                                  
|uid|fullname|
+---+--------+
|  6|进行修改|
| 16|进行修改|
| 18|进行修改|
|  3|进行修改|
|  9|进行修改|
| 11|进行修改|
|  0|进行修改|
|  4|进行修改|
|  5|进行修改|
| 10|进行修改|
| 15|进行修改|
| 17|进行修改|
| 13|进行修改|
| 14|进行修改|
|  1|进行修改|
|  7|进行修改|
|  8|进行修改|
| 12|进行修改|
|  2|进行修改|
| 19|进行修改|
+---+--------+

使用spark sql就可以读取到member_rt表的变化

快照查询

使用 hudi 的快照方式查询，发现可以直接查询到最新的数据

（1）spark默认快照查询，也可以不指定类型

scala> import org.apache.hudi.DataSourceReadOptions
import org.apache.hudi.DataSourceReadOptions

scala> spark.read.format("hudi").option(DataSourceReadOptions.QUERY_TYPE_OPT_KEY, DataSourceReadOptions.QUERY_TYPE_SNAPSHOT_OPT_VAL).load("/tmp/hudi/hivetest/*/*").where("uid>=0 and uid<20").show();
+-------------------+--------------------+------------------+----------------------+--------------------+-----+----+--------+--------+-------+---+----+-------------+-------------+
|_hoodie_commit_time|_hoodie_commit_seqno|_hoodie_record_key|_hoodie_partition_path|   _hoodie_file_name|ad_id|  dn|      dt|fullname|iconurl|uid|uuid|           ts|hudipartition|
+-------------------+--------------------+------------------+----------------------+--------------------+-----+----+--------+--------+-------+---+----+-------------+-------------+
|     20210922204730| 20210922204730_7_17|                 6|         20200918/WebA|a0878fc7-7d6f-4ff...|    4|WebA|20200918|进行修改|      -|  6|   6|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_6_16|                16|         20200918/WebA|576debfb-4d83-4a8...|    6|WebA|20200918|进行修改|      -| 16|  16|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_6_18|                18|         20200918/WebA|576debfb-4d83-4a8...|    4|WebA|20200918|进行修改|      -| 18|  18|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_6_19|                 3|         20200918/WebA|576debfb-4d83-4a8...|    1|WebA|20200918|进行修改|      -|  3|   3|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_6_20|                 9|         20200918/WebA|576debfb-4d83-4a8...|    1|WebA|20200918|进行修改|      -|  9|   9|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_5_15|                11|         20200918/WebA|a5e5db4c-c190-450...|    7|WebA|20200918|进行修改|      -| 11|  11|1632314847098|20200918/WebA|
|     20210922204730|  20210922204730_4_7|                 0|         20200918/WebA|b0e74482-77e8-46c...|    5|WebA|20200918|进行修改|      -|  0|   0|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_4_10|                 4|         20200918/WebA|b0e74482-77e8-46c...|    8|WebA|20200918|进行修改|      -|  4|   4|1632314847098|20200918/WebA|
|     20210922204730|  20210922204730_3_8|                 5|         20200918/WebA|33024f1a-0f88-412...|    2|WebA|20200918|进行修改|      -|  5|   5|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_3_11|                10|         20200918/WebA|33024f1a-0f88-412...|    7|WebA|20200918|进行修改|      -| 10|  10|1632314847098|20200918/WebA|
|     20210922204730|  20210922204730_1_9|                15|         20200918/WebA|6a2c512b-4ab2-4c1...|    5|WebA|20200918|进行修改|      -| 15|  15|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_1_12|                17|         20200918/WebA|6a2c512b-4ab2-4c1...|    1|WebA|20200918|进行修改|      -| 17|  17|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_1_13|                13|         20200918/WebA|6a2c512b-4ab2-4c1...|    2|WebA|20200918|进行修改|      -| 13|  13|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_1_14|                14|         20200918/WebA|6a2c512b-4ab2-4c1...|    4|WebA|20200918|进行修改|      -| 14|  14|1632314847098|20200918/WebA|
|     20210922204730|  20210922204730_2_3|                 1|         20200918/WebA|38318074-4111-451...|    0|WebA|20200918|进行修改|      -|  1|   1|1632314847098|20200918/WebA|
|     20210922204730|  20210922204730_2_4|                 7|         20200918/WebA|38318074-4111-451...|    8|WebA|20200918|进行修改|      -|  7|   7|1632314847098|20200918/WebA|
|     20210922204730|  20210922204730_2_5|                 8|         20200918/WebA|38318074-4111-451...|    7|WebA|20200918|进行修改|      -|  8|   8|1632314847098|20200918/WebA|
|     20210922204730|  20210922204730_2_6|                12|         20200918/WebA|38318074-4111-451...|    3|WebA|20200918|进行修改|      -| 12|  12|1632314847098|20200918/WebA|
|     20210922204730|  20210922204730_0_1|                 2|         20200918/WebA|0ac945ef-b1f1-4a6...|    3|WebA|20200918|进行修改|      -|  2|   2|1632314847098|20200918/WebA|
|     20210922204730|  20210922204730_0_2|                19|         20200918/WebA|0ac945ef-b1f1-4a6...|    3|WebA|20200918|进行修改|      -| 19|  19|1632314847098|20200918/WebA|
+-------------------+--------------------+------------------+----------------------+--------------------+-----+----+--------+--------+-------+---+----+-------------+-------------+

增量查询

（1）查询前40条数据，分别包含修改的20条数据和未修改的20条数据

scala> spark.sql("select * from member_rt order where uid>=0 and uid <40 order by uid").show(40);
+-------------------+--------------------+------------------+----------------------+--------------------+-----+----+--------+--------+-------+---+----+-------------+-------------+
|_hoodie_commit_time|_hoodie_commit_seqno|_hoodie_record_key|_hoodie_partition_path|   _hoodie_file_name|ad_id|  dn|      dt|fullname|iconurl|uid|uuid|           ts|hudipartition|
+-------------------+--------------------+------------------+----------------------+--------------------+-----+----+--------+--------+-------+---+----+-------------+-------------+
|     20210922204730|  20210922204730_4_7|                 0|         20200918/WebA|b0e74482-77e8-46c...|    5|WebA|20200918|进行修改|      -|  0|   0|1632314847098|20200918/WebA|
|     20210922204730|  20210922204730_2_3|                 1|         20200918/WebA|38318074-4111-451...|    0|WebA|20200918|进行修改|      -|  1|   1|1632314847098|20200918/WebA|
|     20210922204730|  20210922204730_0_1|                 2|         20200918/WebA|0ac945ef-b1f1-4a6...|    3|WebA|20200918|进行修改|      -|  2|   2|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_6_19|                 3|         20200918/WebA|576debfb-4d83-4a8...|    1|WebA|20200918|进行修改|      -|  3|   3|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_4_10|                 4|         20200918/WebA|b0e74482-77e8-46c...|    8|WebA|20200918|进行修改|      -|  4|   4|1632314847098|20200918/WebA|
|     20210922204730|  20210922204730_3_8|                 5|         20200918/WebA|33024f1a-0f88-412...|    2|WebA|20200918|进行修改|      -|  5|   5|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_7_17|                 6|         20200918/WebA|a0878fc7-7d6f-4ff...|    4|WebA|20200918|进行修改|      -|  6|   6|1632314847098|20200918/WebA|
|     20210922204730|  20210922204730_2_4|                 7|         20200918/WebA|38318074-4111-451...|    8|WebA|20200918|进行修改|      -|  7|   7|1632314847098|20200918/WebA|
|     20210922204730|  20210922204730_2_5|                 8|         20200918/WebA|38318074-4111-451...|    7|WebA|20200918|进行修改|      -|  8|   8|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_6_20|                 9|         20200918/WebA|576debfb-4d83-4a8...|    1|WebA|20200918|进行修改|      -|  9|   9|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_3_11|                10|         20200918/WebA|33024f1a-0f88-412...|    7|WebA|20200918|进行修改|      -| 10|  10|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_5_15|                11|         20200918/WebA|a5e5db4c-c190-450...|    7|WebA|20200918|进行修改|      -| 11|  11|1632314847098|20200918/WebA|
|     20210922204730|  20210922204730_2_6|                12|         20200918/WebA|38318074-4111-451...|    3|WebA|20200918|进行修改|      -| 12|  12|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_1_13|                13|         20200918/WebA|6a2c512b-4ab2-4c1...|    2|WebA|20200918|进行修改|      -| 13|  13|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_1_14|                14|         20200918/WebA|6a2c512b-4ab2-4c1...|    4|WebA|20200918|进行修改|      -| 14|  14|1632314847098|20200918/WebA|
|     20210922204730|  20210922204730_1_9|                15|         20200918/WebA|6a2c512b-4ab2-4c1...|    5|WebA|20200918|进行修改|      -| 15|  15|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_6_16|                16|         20200918/WebA|576debfb-4d83-4a8...|    6|WebA|20200918|进行修改|      -| 16|  16|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_1_12|                17|         20200918/WebA|6a2c512b-4ab2-4c1...|    1|WebA|20200918|进行修改|      -| 17|  17|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_6_18|                18|         20200918/WebA|576debfb-4d83-4a8...|    4|WebA|20200918|进行修改|      -| 18|  18|1632314847098|20200918/WebA|
|     20210922204730|  20210922204730_0_2|                19|         20200918/WebA|0ac945ef-b1f1-4a6...|    3|WebA|20200918|进行修改|      -| 19|  19|1632314847098|20200918/WebA|
|     20210918173310|20210918173310_7_...|                20|         20200918/WebA|0ac945ef-b1f1-4a6...|    6|WebA|20200918|    王20|      -| 20|  20|1631957586912|20200918/WebA|
|     20210918173310|20210918173310_4_...|                21|         20200918/WebA|b0e74482-77e8-46c...|    6|WebA|20200918|    王21|      -| 21|  21|1631957586912|20200918/WebA|
|     20210918173310|20210918173310_3_...|                22|         20200918/WebA|a5e5db4c-c190-450...|    8|WebA|20200918|    王22|      -| 22|  22|1631957586912|20200918/WebA|
|     20210918173310|20210918173310_2_...|                23|         20200918/WebA|a0878fc7-7d6f-4ff...|    1|WebA|20200918|    王23|      -| 23|  23|1631957586912|20200918/WebA|
|     20210918173310|20210918173310_1_...|                24|         20200918/WebA|576debfb-4d83-4a8...|    5|WebA|20200918|    王24|      -| 24|  24|1631957586912|20200918/WebA|
|     20210918173310|20210918173310_4_...|                25|         20200918/WebA|b0e74482-77e8-46c...|    3|WebA|20200918|    王25|      -| 25|  25|1631957586912|20200918/WebA|
|     20210918173310|20210918173310_4_...|                26|         20200918/WebA|b0e74482-77e8-46c...|    6|WebA|20200918|    王26|      -| 26|  26|1631957586912|20200918/WebA|
|     20210918173310|20210918173310_2_...|                27|         20200918/WebA|a0878fc7-7d6f-4ff...|    1|WebA|20200918|    王27|      -| 27|  27|1631957586912|20200918/WebA|
|     20210918173310|20210918173310_5_...|                28|         20200918/WebA|33024f1a-0f88-412...|    4|WebA|20200918|    王28|      -| 28|  28|1631957586912|20200918/WebA|
|     20210918173310|20210918173310_7_...|                29|         20200918/WebA|0ac945ef-b1f1-4a6...|    4|WebA|20200918|    王29|      -| 29|  29|1631957586912|20200918/WebA|
|     20210918173310|20210918173310_1_...|                30|         20200918/WebA|576debfb-4d83-4a8...|    8|WebA|20200918|    王30|      -| 30|  30|1631957586912|20200918/WebA|
|     20210918173310|20210918173310_5_...|                31|         20200918/WebA|33024f1a-0f88-412...|    5|WebA|20200918|    王31|      -| 31|  31|1631957586912|20200918/WebA|
|     20210918173310|20210918173310_3_...|                32|         20200918/WebA|a5e5db4c-c190-450...|    6|WebA|20200918|    王32|      -| 32|  32|1631957586912|20200918/WebA|
|     20210918173310|20210918173310_3_...|                33|         20200918/WebA|a5e5db4c-c190-450...|    7|WebA|20200918|    王33|      -| 33|  33|1631957586912|20200918/WebA|
|     20210918173310|20210918173310_7_...|                34|         20200918/WebA|0ac945ef-b1f1-4a6...|    0|WebA|20200918|    王34|      -| 34|  34|1631957586912|20200918/WebA|
|     20210918173310|20210918173310_0_...|                35|         20200918/WebA|6a2c512b-4ab2-4c1...|    6|WebA|20200918|    王35|      -| 35|  35|1631957586912|20200918/WebA|
|     20210918173310|20210918173310_3_...|                36|         20200918/WebA|a5e5db4c-c190-450...|    0|WebA|20200918|    王36|      -| 36|  36|1631957586912|20200918/WebA|
|     20210918173310|20210918173310_7_...|                37|         20200918/WebA|0ac945ef-b1f1-4a6...|    2|WebA|20200918|    王37|      -| 37|  37|1631957586912|20200918/WebA|
|     20210918173310|20210918173310_3_...|                38|         20200918/WebA|a5e5db4c-c190-450...|    6|WebA|20200918|    王38|      -| 38|  38|1631957586912|20200918/WebA|
|     20210918173310|20210918173310_7_...|                39|         20200918/WebA|0ac945ef-b1f1-4a6...|    4|WebA|20200918|    王39|      -| 39|  39|1631957586912|20200918/WebA|
+-------------------+--------------------+------------------+----------------------+--------------------+-----+----+--------+--------+-------+---+----+-------------+-------------+

发现最新修改的数据的时间发生了变化，未修改的数据和修改的数据对比明显

（2）可以看到进行修改的数据和修改的数据commit时间戳是不一样的。那么hudi提供使用时间戳增量查询。指定查询类型为增量查询，并且传入时间戳，那么spark会查询时间戳以后的数据。

DataSourceReadOptions.QUERY_TYPE_INCREMENTAL_OPT_VAL 

scala> import org.apache.hudi.DataSourceReadOptions
import org.apache.hudi.DataSourceReadOptions

scala> spark.read.format("hudi").option(DataSourceReadOptions.QUERY_TYPE_OPT_KEY, DataSourceReadOptions.QUERY_TYPE_INCREMENTAL_OPT_VAL).option(DataSourceReadOptions.BEGIN_INSTANTTIME_OPT_KEY,"20210922204730").load("/tmp/hudi/hivetest/").show(40);
21/09/23 11:46:34 WARN lineage.LineageWriter: Lineage directory /var/log/spark/lineage doesn't exist or is not writable. Lineage for this application will be disabled.
+-------------------+--------------------+------------------+----------------------+-----------------+-----+---+---+--------+-------+---+----+---+-------------+
|_hoodie_commit_time|_hoodie_commit_seqno|_hoodie_record_key|_hoodie_partition_path|_hoodie_file_name|ad_id| dn| dt|fullname|iconurl|uid|uuid| ts|hudipartition|
+-------------------+--------------------+------------------+----------------------+-----------------+-----+---+---+--------+-------+---+----+---+-------------+
+-------------------+--------------------+------------------+----------------------+-----------------+-----+---+---+--------+-------+---+----+---+-------------+


scala> spark.read.format("hudi").option(DataSourceReadOptions.QUERY_TYPE_OPT_KEY, DataSourceReadOptions.QUERY_TYPE_INCREMENTAL_OPT_VAL).option(DataSourceReadOptions.BEGIN_INSTANTTIME_OPT_KEY,"20210918173310").load("/tmp/hudi/hivetest/").show(40);
+-------------------+--------------------+------------------+----------------------+--------------------+-----+----+--------+--------+-------+---+----+-------------+-------------+
|_hoodie_commit_time|_hoodie_commit_seqno|_hoodie_record_key|_hoodie_partition_path|   _hoodie_file_name|ad_id|  dn|      dt|fullname|iconurl|uid|uuid|           ts|hudipartition|
+-------------------+--------------------+------------------+----------------------+--------------------+-----+----+--------+--------+-------+---+----+-------------+-------------+
|     20210922204730|  20210922204730_2_3|                 1|         20200918/WebA|38318074-4111-451...|    0|WebA|20200918|进行修改|      -|  1|   1|1632314847098|20200918/WebA|
|     20210922204730|  20210922204730_2_6|                12|         20200918/WebA|38318074-4111-451...|    3|WebA|20200918|进行修改|      -| 12|  12|1632314847098|20200918/WebA|
|     20210922204730|  20210922204730_2_4|                 7|         20200918/WebA|38318074-4111-451...|    8|WebA|20200918|进行修改|      -|  7|   7|1632314847098|20200918/WebA|
|     20210922204730|  20210922204730_2_5|                 8|         20200918/WebA|38318074-4111-451...|    7|WebA|20200918|进行修改|      -|  8|   8|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_7_17|                 6|         20200918/WebA|a0878fc7-7d6f-4ff...|    4|WebA|20200918|进行修改|      -|  6|   6|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_6_19|                 3|         20200918/WebA|576debfb-4d83-4a8...|    1|WebA|20200918|进行修改|      -|  3|   3|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_6_16|                16|         20200918/WebA|576debfb-4d83-4a8...|    6|WebA|20200918|进行修改|      -| 16|  16|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_6_18|                18|         20200918/WebA|576debfb-4d83-4a8...|    4|WebA|20200918|进行修改|      -| 18|  18|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_6_20|                 9|         20200918/WebA|576debfb-4d83-4a8...|    1|WebA|20200918|进行修改|      -|  9|   9|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_5_15|                11|         20200918/WebA|a5e5db4c-c190-450...|    7|WebA|20200918|进行修改|      -| 11|  11|1632314847098|20200918/WebA|
|     20210922204730|  20210922204730_0_1|                 2|         20200918/WebA|0ac945ef-b1f1-4a6...|    3|WebA|20200918|进行修改|      -|  2|   2|1632314847098|20200918/WebA|
|     20210922204730|  20210922204730_0_2|                19|         20200918/WebA|0ac945ef-b1f1-4a6...|    3|WebA|20200918|进行修改|      -| 19|  19|1632314847098|20200918/WebA|
|     20210922204730|  20210922204730_4_7|                 0|         20200918/WebA|b0e74482-77e8-46c...|    5|WebA|20200918|进行修改|      -|  0|   0|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_4_10|                 4|         20200918/WebA|b0e74482-77e8-46c...|    8|WebA|20200918|进行修改|      -|  4|   4|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_1_13|                13|         20200918/WebA|6a2c512b-4ab2-4c1...|    2|WebA|20200918|进行修改|      -| 13|  13|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_1_14|                14|         20200918/WebA|6a2c512b-4ab2-4c1...|    4|WebA|20200918|进行修改|      -| 14|  14|1632314847098|20200918/WebA|
|     20210922204730|  20210922204730_1_9|                15|         20200918/WebA|6a2c512b-4ab2-4c1...|    5|WebA|20200918|进行修改|      -| 15|  15|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_1_12|                17|         20200918/WebA|6a2c512b-4ab2-4c1...|    1|WebA|20200918|进行修改|      -| 17|  17|1632314847098|20200918/WebA|
|     20210922204730|  20210922204730_3_8|                 5|         20200918/WebA|33024f1a-0f88-412...|    2|WebA|20200918|进行修改|      -|  5|   5|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_3_11|                10|         20200918/WebA|33024f1a-0f88-412...|    7|WebA|20200918|进行修改|      -| 10|  10|1632314847098|20200918/WebA|
+-------------------+--------------------+------------------+----------------------+--------------------+-----+----+--------+--------+-------+---+----+-------------+-------------+

（3）DataSourceReadOptions.BEGIN_INSTANTTIME_OPT_KEY是开始时间戳，也对应有DataSourceReadOptions.END_INSTANTTIME_OPT_KEY结束时间戳，增量查询也可以给时间范围进行查询

第一次看海
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hive2.1.1-cdh6.3.2
05-08
hive JDBC jar包全家桶。由于项目使用，此jar包从国外下载费了好大劲，现分享给大家。 cdh6.3.2版本的
hive-jdbc-2.1.1-cdh6.3.2-standalone.jar
04-16
hive连接驱动
【Hudi】MOR建表会额外生成rt和ro后缀两张表
JH_Zhai的博客
02-27 274
当hudi表按照MOR格式新建以后，会默认生成3个表，如新建 hudi_os_dev表，则会生成。（1）MOR，写入快，适用于源端数据快速接入ODS层，也就是常说的贴源层的场景；（2）COW，读取快，适用于从贴源层取数据，经过处理后在存储至标准层的场景；（1）Merge-On-Read（MOR-读时合并）；（2）Copy-On-Write（COW-写时复制）；最后，对MOR方式存储时产生的三种格式进行简要总结。首先，Hudi表可以支持多种数据类型，如。
【TI毫米波雷达】毫米波雷达芯片框架解析：out_of_box开箱demo代码重构，绕过上位机CLI指令（IWR6843AOP）
网易独家音乐人Mike Zhou的博客
08-31 913
【TI毫米波雷达】毫米波雷达芯片out_of_box开箱demo代码重构，绕过上位机CLI指令（IWR6843AOP）
Hudi 0.11.0 + Flink1.14.4 + Hive + Flink CDC + Kafka 集成
zhangs_123的博客
08-09 3030
Hudi 0.11.0 + Flink1.14.4 + Hive + Flink CDC + Kafka
2023年全国硕士研究生入学统一考试英语（二）试题
不务正业的猿
05-07 4524
如需PDF版本，可到本人微信小程序里的“应用”模块里的“考研英语试题”里获取最新的下载链接。2023年全国硕士研究生入学统一考试英语（二）试题。健康素养（health literacy）
基于数据湖的流批一体：flink1.15.3与Hudi0.12.1集成，并配置基于CDH6.3.2的hive catalog
wupeihong的博客
03-29 1613
为实现基于数据湖的流批一体，采用业内主流技术栈hudi、flink、CDH（hive、spark）。flink使用sql client与hive的catalog打通，可以与hive共享元数据，使用sql client可操作hive中的表，实现批流一体；flink与hudi集成可以实现数据实时入湖；hudi与hive集成可以实现湖仓一体，用flink实时入湖，用spark跑批处理。由于方案中中采用的CDH6.3.2是官方最后的开源版本，而flink与hudi是社区近期发布的开源版，网上资料较少，特此分享
CDH6.3.2及hadoop生态圈工具安装指南
JAVA飘香
03-10 3423
一、前期准备 1、服务器3台，系统要求Centos7 2.服务器部署情况： 内存 磁盘 CPU cm ...
大数据技术-Hudi学习笔记
xiaoyixiao_的博客
11-02 2494
大数据技术-Hudi数据湖学习笔记
实时数据湖-Merge On Read
三石
01-08 2880
Hudi 按照我的理解，我们一般所说的 MOR 与 Hudi 中的 MOR 不同，我们强调的是 query，而 Hudi 中指的是 table type。Hudi 中真正对应的我们的是视图（query type） 中的近实时视图（Snapshot Queries）： 在此视图上的查询将查看某个增量提交操作中数据集的最新快照。该视图通过动态合并最新的基本文件(例如parquet)和增量文件(例如avro)来提供近实时数据集（几分钟的延迟）。 当前支持 Hudi 近实时视图的查询引擎如下图 Hudi 实时
Hudi集成Hive时的异常解决方法 java.lang.ClassNotFoundException: org.apache.hudi.hadoop.HoodieParquetInputFormat
知行合一
10-31 3200
# Hudi 0.10.0 集成 Hive 时的异常及解决方法: java.lang.ClassNotFoundException: org.apache.hudi.hadoop.HoodieParquetInputFormat
cloudera-hive-cdh6.3.2源码包
07-28
cloudera-hive-cdh6.3.2源码包
apache atlas2.1.0 整合CDH6.3.2编译安装包
07-01
apache atlas2.1.0 整合CDH6.3.2编译安装包,下载Atlas2.1.0源码修改集成CDH6.3.2依赖整合编译包可直接用于CDH6.3.2版本下集成安装Atlas
基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优
05-25
CDH6针对hive on spark的调优文档，这个是生产的实战经验
java-springmvc 01 补充 javaweb 三大组件（源码都是tomcat8.5项目中的）
qq_38757863的博客
04-27 61
01。
hive启动beeline报错
m0_75028327的博客
04-26 284
出现上面的问题执行以下代码。
01-DispatchServlet和RequestMapping
低调的烂笔头的博客
04-25 155
*** 自定义参数注解：用于将请求头中的token参数解析出来并放入方法入参（参数解析器）*//*** 自定义方法返回值注解 用户测试自定义方法返回值处理器*//*** @desc 继承RequestMappingHandlerAdapter，重新invokeHandlerMethod方法* 因为此方法是protected的，外部无法调用 继承后修改为public便于测试*/@Override/**
hive创建hbase外部关联表实例
最新发布
linweidong的专栏
04-27 141
在cdh6.3.2已经做好hbase和hive相关配置，这里不阐述。要创建上述的表结构，你需要先在HBase中创建相应的表，然后在Hive中创建一个EXTERNAL TABLE来映射到这个HBase表。
大数据面试题 —— Spark数据倾斜及其解决方案
hu_wei123的博客
04-27 633
有的时候，我们可能会遇到大数据计算中一个最棘手的问题 ——数据倾斜，此时 Spark 作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证 Spark 作业的性能。
cdh6.3.2 hudi
08-10
CDH（Cloudera Distribution of Hadoop）是一种用于大数据处理的分布式计算框架，它包含了Hadoop、Spark、Hive等组件，用于存储、处理和分析大规模的数据。 Hudi是一种开源数据湖工具，它 stands for Hadoop ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值