【案例实战】Java整合hudi-client 0.11.1

已于 2023-03-30 14:15:59 修改
阅读量1.5k 收藏 19
点赞数 12
分类专栏： # Java案例专栏 文章标签： java 大数据
于 2022-10-26 09:08:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_47533244/article/details/127525844
版权

1.Linux部署hudi环境

（1）安装maven-3.5.4、jdk1.8环境

# 解压maven，重命名
tar -xf apache-maven-3.5.4-bin.tar.gz -C /usr/local/
mv apache-maven-3.5.4 maven

# 解压jdk，重命名
tar -xf jdk-8u212-linux-x64.tar.gz -C /usr/local/
mv jdk1.8.0_212 jdk

# 配置环境变量
vi /etc/profile

# 添加如下配置：
# JAVA HOME
JAVA_HOME=/usr/local/jdk
export JAVA_HOME
CLASSPATH=.:$JAVA_HOME/lib
export CLASSPATH
PATH=$PATH:$JAVA_HOME/bin:$CLASSPATH
export PATH
# MAVEN HOME
MAVEN_HOME=/usr/local/maven
export MAVEN_HOME
PATH=$PATH:$MAVEN_HOME/bin
export PATH

# 刷新配置
source /etc/profile

# 验证环境配置
java -version
mvn -version

在这里插入图片描述

（2）下载Hudi源码包

wget https://archive.apache.org/dist/hudi/0.9.0/hudi-0.9.0.src.tgz

（3）配置Maven镜像，在maven包下conf目录下setting.xml文件

<mirror>
    <id>alimaven</id>
    <name>aliyun maven</name>
    <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
    <mirrorOf>central</mirrorOf>
</mirror>
<mirror>
    <id>aliyunmaven</id>
    <mirrorOf>*</mirrorOf>
    <name>阿里云spring插件仓库</name>
    <url>https://maven.aliyun.com/repository/spring-plugin</url>
</mirror>
<mirror>
    <id>repo2</id>
    <name>Mirror from Maven Repo2</name>
    <url>https://repo.spring.io/plugins-release/</url>
    <mirrorOf>central</mirrorOf>
</mirror>
<mirror>
    <id>UK</id>
    <name>UK Central</name>
    <url>http://uk.maven.org/maven2</url>
    <mirrorOf>central</mirrorOf>
</mirror>
<mirror>
    <id>jboss-public-repository-group</id>
    <name>JBoss Public Repository Group</name>
    <url>http://repository.jboss.org/nexus/content/groups/public</url>
    <mirrorOf>central</mirrorOf>
</mirror>
<mirror>
    <id>CN</id>
    <name>OSChina Central</name>
    <url>http://maven.oschina.net/content/groups/public/</url>
    <mirrorOf>central</mirrorOf>
</mirror>
<mirror>
    <id>google-maven-central</id>
    <name>GCS Maven Central mirror Asia Pacific</name>
    <url>https://maven-central-asia.storage-download.googleapis.com/maven2/</url>
    <mirrorOf>central</mirrorOf>
</mirror>
<mirror>
    <id>confluent</id>
    <name>confluent maven</name>
    <url>http://packages.confluent.io/maven/</url>
    <mirrorOf>confluent</mirrorOf>
</mirror>

（4）编译hudi源码包

# 将下载好的hudi解压
tar -xf hudi-0.9.0.src.tgz -C /usr/local/

cd /usr/local/hudi-0.9.0

# 执行命令
mvn clean install -DskipTests -DskipITs -Dscala-2.12 -Dspark3

（5）编译成功后，进入hudi-cli，执行./hudi-cli.sh目录测试

./hudi-cli.sh

在这里插入图片描述

（6）安装HDFS

# 解压hadoop安装包
tar -zxf hadoop-2.7.3.tar.gz -C /usr/local/
cd /usr/local/
# 创建软连接
ln -s hadoop-2.7.3 hadoop

# 配置环境变量
vi /etc/profile

# HADOOP HOME
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

# 在Hadoop环境变量脚本配置JDK和HADOOP安装目录
vi /usr/local/hadoop/etc/hadoop/hadoop-env.sh

# 添加如下内容
export JAVA_HOME=/usr/local/jdk
export HADOOP_HOME=/usr/local/hadoop

# 配置Hadoop Common模块公共属性，编辑core-site.xml文件
	<property>
		<name>fs.defaultFS</name>
		<!-- 以自己的ip地址为准 -->
		<value>hdfs://192.168.139.100:8020</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/hadoop/datas</value>
	</property>
	<property>
		<name>hadoop.http.staticuser.user</name>
		<value>root</value>
	</property>
# 配置HDFS分布式文件系统相关属性，hdfs-site.xml
<property>
		<name>dfs.namenode.name.dir</name>
		<value>/hadoop/datas/dfs/nn</value>
	</property>
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>/hadoop/datas/dfs/dn</value>
	</property>
	
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
	<property>
		<name>dfs.permissions.enabled</name>
		<value>false</value>
	</property>
	<property>
		<name>dfs.datanode.data.dir.perm</name>
		<value>750</value>
	</property>

# 创建HDFS所需的目录
mkdir -p /hadoop/datas/dfs/nn
mkdir -p /hadoop/datas/dfs/dn
mkdir -p /hadoop/datas

# 配置HDFS集群中从节点DataNode所运行机器
vi /usr/local/hadoop/etc/hadoop/workers
# 增加配置：
192.168.139.100

# 格式化HDFS
 hdfs namenode -format
# 启动HDFS集群
hadoop-daemon.sh start namenode
hadoop-daemon.sh start datanode

# 访问HDFS UI 
http://192.168.139.100:50070/

在这里插入图片描述

（7）安装Spark 3.x

# 解压软件包
tar -zxf /usr/local/software/spark-3.0.0-bin-hadoop2.7.tgz -C /usr/local/

cd /usr/local/

# 创建软链接
ln -s /usr/local/spark-3.0.0-bin-hadoop2.7 /usr/local/spark

# 安装scala
tar -zxf /usr/local/softwares/scala-2.12.10.tgz -C /usr/local/
ln -s /usr/local/scala-2.12.10 /usr/local/scala

# 设置环境变量
vi /etc/profile

# SCALA_HOME
export SCALA_HOME=/usr/local/scala
export PATH=$PATH:$SCALA_HOME/bin

source /etc/profile

# 修改配置spark名称
cd /usr/local/spark/conf

# 修改配置文件名称
cp -p spark-env.sh.template spark-env.sh.template.bak
mv spark-env.sh.template spark-env.sh

# 编辑文件
vi spark-env.sh

# 修改配置文件内容
JAVA_HOME=/usr/local/jdk
SCALA_HOME=/usr/local/scala
HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop

# 本地模式启动spark-shell
cd /usr/local/spark
bin/spark-shell --master local[2]

在这里插入图片描述

2.java整合hudi

（1）创建maven工程添加依赖

		<dependency>
            <groupId>org.apache.hudi</groupId>
            <artifactId>hudi-java-client</artifactId>
            <version>0.11.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hudi</groupId>
            <artifactId>hudi-examples</artifactId>
            <version>0.11.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hudi</groupId>
            <artifactId>hudi-examples-common</artifactId>
            <version>0.11.1</version>
        </dependency>
        <!--JSON-->
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.83</version>
        </dependency>
        <dependency>
            <groupId>org.apache.parquet</groupId>
            <artifactId>parquet-avro</artifactId>
            <version>1.10.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.avro</groupId>
            <artifactId>avro</artifactId>
            <version>1.10.1</version>
        </dependency>

（2）封装HoodieClient类，提供对Hoodie的增删改

/**
 * @description hudi-client增删改查
 * @author lixiang
 */
public class HoodieClient {

    private HoodieJavaWriteClient<HoodieAvroPayload> client;

    private String tableFormat;

    /**
     * HDFS 路径
     */
    private final static String DEFAULT_HDFS_PATH = "hdfs://192.168.139.100:8020";

    /**
     * 默认HDFS 存放的路径
     */
    private final static String DEFAULT_HDFS_DIR = "usr/hudi/warehouse";

    // ==============================构造方法开始==============================
    public HoodieClient(String hdfsPath, String hdfsDir, String tableName, String tableFormat,HoodieTableType tableType) {
        this.tableFormat = tableFormat;
        initHuDiClient(hdfsPath,hdfsDir,tableName,tableFormat,tableType);
    }
	//指定tableName、tableFormat和表类型，指定hdfs路径
    public HoodieClient(String hdfsDir, String tableName, String tableFormat,HoodieTableType tableType) {
        this(DEFAULT_HDFS_PATH,hdfsDir,tableName,tableFormat,tableType);
    }
	//指定tableName、tableFormat和指定hdfs路径，COPY_ON_WRITE类型表
    public HoodieClient(String hdfsDir, String tableName, String tableFormat) {
        this(DEFAULT_HDFS_PATH,hdfsDir,tableName,tableFormat,HoodieTableType.COPY_ON_WRITE);
    }
	//指定tableName、tableFormat和表类型，默认hdfs路径
    public HoodieClient(String tableName, String tableFormat,HoodieTableType tableType) {
        this(DEFAULT_HDFS_PATH,DEFAULT_HDFS_DIR,tableName,tableFormat,tableType);
    }
	//指定tableName和tableFormat，默认hdfs路径，COPY_ON_WRITE类型表
    public HoodieClient(String tableName, String tableFormat) {
        this(DEFAULT_HDFS_PATH,DEFAULT_HDFS_DIR,tableName,tableFormat,HoodieTableType.COPY_ON_WRITE);
    }
    // ==============================构造方法结束==============================


    /**
     * 初始化HoodieJavaWriteClient
     * @param hdfsPath
     * @param hdfsDir
     * @param tableName
     * @param tableFormat
     * @param tableType
     */
    private void initHuDiClient(String hdfsPath,String hdfsDir, String tableName, String tableFormat,HoodieTableType tableType){
        // 初始化Hoodie表
        String tablePath = hdfsPath+"/"+hdfsDir+"/"+tableName;
        // 创建HDFS路径
        Configuration hadoopConf = new Configuration();
        Path path = new Path(tablePath);
        FileSystem fileSystem = FSUtils.getFs(tablePath, hadoopConf);
        try {
            // 检查路径是否存在
            if (!fileSystem.exists(path)) {
                // 初始化Hoodie Table 创建Hoodie表的tablePath，写入初始化元数据信息
                HoodieTableMetaClient.withPropertyBuilder()
                        .setTableType(tableType.name())
                        .setTableName(tableName)
                        .setPayloadClassName(HoodieAvroPayload.class.getName())
                        .initTable(hadoopConf, tablePath);
            }
        } catch (IOException e) {
            throw new RuntimeException("初始化表Hoodie表异常,"+tableName);
        }
        // 创建write client conf
        HoodieWriteConfig huDiWriteConf = HoodieWriteConfig.newBuilder()
                // 数据schema
                .withSchema(tableFormat)
                // 数据插入更新并行度
                .withParallelism(2, 2)
                // 数据删除并行度
                .withDeleteParallelism(2)
                // HuDi表索引类型，BLOOM
                .withIndexConfig(HoodieIndexConfig.newBuilder().withIndexType(HoodieIndex.IndexType.BLOOM).build())
                // 合并
                .withCompactionConfig(HoodieCompactionConfig.newBuilder().archiveCommitsWith(20, 30).build())
                //.withEmbeddedTimelineServerEnabled(false)
                .withPath(tablePath)
                .forTable(tableName)
                .build();
        /*huDiWriteConf.getProps().setProperty(KeyGeneratorOptions.PARTITIONPATH_FIELD_NAME.key(),"table_name");
        huDiWriteConf.getProps().setProperty(KeyGeneratorOptions.RECORDKEY_FIELD_NAME.key(),"uuid");*/

        // 获得HuDi write client
        this.client = new HoodieJavaWriteClient<>(new HoodieJavaEngineContext(hadoopConf), huDiWriteConf);
    }

    /**
     * 单条插入Hoodie数据
     * @param jsonObject
     */
    public void upsertOne(JSONObject insertObject){
        upsert(Arrays.asList(insertObject));
    }

    /**
     * 批量插入Hoodie数据
     * @param jsonObject
     */
    public void upsertBatch(List<JSONObject> insertObjects){
        upsert(insertObjects);
    }

    public void deleteOne(String primaryKey,String tableName){
        delete(Arrays.asList(primaryKey),tableName);
    }

    public void deleteBatch(List<String> primaryKeys,String tableName){
        delete(primaryKeys,tableName);
    }

    /**
     * 删除逻辑
     * @param primaryKeys
     * @param tableName
     */
    private void delete(List<String> primaryKeys,String tableName){
        String newCommitTime = client.startCommit();
        List<HoodieKey> deleteKeys = primaryKeys.stream().map(key -> new HoodieKey(key,tableName)).collect(Collectors.toList());
        client.delete(deleteKeys, newCommitTime);
    }
    /**
     * 新增修改公用操作
     * @param insertObjects
     * @param primaryKey
     */
    private void upsert(List<JSONObject> insertObjects){
        String newCommitTime = client.startCommit();
        Schema avroSchema = new Schema.Parser().parse(tableFormat);
        List<HoodieRecord<HoodieAvroPayload>> hoodieRecords = insertObjects.stream().map(obj -> {
            String tableName = obj.getString("table_name");
            String uuid = obj.getString("uuid");
            GenericRecord genericRecord = new GenericData.Record(avroSchema);
            obj.forEach(genericRecord::put);
            HoodieKey hoodieKey = new HoodieKey(uuid, tableName);
            HoodieAvroPayload payload = new HoodieAvroPayload(Option.of(genericRecord));
            return (HoodieRecord<HoodieAvroPayload>) new HoodieAvroRecord<>(hoodieKey, payload);
        }).collect(Collectors.toList());

        // 获取upsertStatus
        client.upsert(hoodieRecords, newCommitTime);
    }

    /**
     * 客户端关闭方法
     */
    public void close(){
        client.close();
    }

}

（3）创建Schema，自定义表结构的JSON数据

	//根据自己的表结构进行编写
	private static String getTableFormat(String tableName){
        JSONObject field1 = new JSONObject();
        field1.put("name","uuid");
        field1.put("type","string");
        JSONObject field2 = new JSONObject();
        field2.put("name","table_name");
        field2.put("type","string");
        JSONObject field3 = new JSONObject();
        field3.put("name","date");
        field3.put("type","string");
        JSONArray fields = new JSONArray();
        fields.add(field1);
        fields.add(field2);
        fields.add(field3);
        JSONObject schema = new JSONObject();
        schema.put("type","record");
        schema.put("name",tableName);
        schema.put("fields",fields);
        return schema.toJSONString();
    }
    public static void main(String[] args) {
        String tableName = "data_raw_cow";
        // 获取表的JSON结构
        String tableFormat = getTableFormat(tableName);
        System.out.println(tableFormat);
    }

运行结果：
{
    "name":"data_raw_cow",
    "type":"record",
    "fields":[
        {
            "name":"uuid",
            "type":"string"
        },
        {
            "name":"table_name",
            "type":"string"
        },
        {
            "name":"date",
            "type":"string"
        }
    ]
}

（4）随机获取表名方法（测试）

	private static List<String> tableNames;

    static{
        tableNames = Arrays.asList("table_name1","table_name2","table_name3","table_name4","table_name5","table_name6");
    }
    
    private static String getTableName(){
        Random random = new Random();
        return tableNames.get(random.nextInt(tableNames.size()));
    }

（5）测试新增10条数据

 public static void main(String[] args) {

        String tableName = "data_raw_cow";
        // 获取表的JSON结构
        String tableFormat = getTableFormat(tableName);
        System.out.println(tableFormat);
        List<JSONObject> list = new ArrayList<>();
        for (int i = 0; i < 10; i++) {
            JSONObject json = new JSONObject();
            json.put("uuid",UUID.randomUUID().toString());
            json.put("table_name",getTableName());
            json.put("date", String.valueOf(LocalDateTime.now()));
            list.add(json);
        }
        HoodieClient client = new HoodieClient(tableName,tableFormat);
        client.upsertBatch(list);
        client.close();
    }

在这里插入图片描述

（6）修改一条数据

在这里插入图片描述

	/**
     * 修改测试数据,修改uuid为1dd87dd5-8e14-4562-9234-51247264968d，table_name为table_name6的数据，将日期改成xxxxxxxxxx
     * @return
     */
    private static JSONObject getUpdateOneData(){
        JSONObject jsonObject = new JSONObject();
        jsonObject.put("uuid","1dd87dd5-8e14-4562-9234-51247264968d");
        jsonObject.put("table_name","table_name6");
        jsonObject.put("date","xxxxxxxxxx");
        return jsonObject;
    }
    
    public static void main(String[] args) {

        String tableName = "data_raw_cow";
        // 获取表的JSON结构
        String tableFormat = getTableFormat(tableName);
        JSONObject updateOneData = getUpdateOneData();
        HoodieClient client = new HoodieClient(tableName,tableFormat);
        client.upsertOne(updateOneData);
        client.close();
    }

在这里插入图片描述

（7）测试删除数据，删除数据主要是拼接主键，按照HoodieKey去删除数据

public static void main(String[] args) {

        String tableName = "data_raw_cow";
        // 获取表的JSON结构
        String tableFormat = getTableFormat(tableName);
        HoodieClient client = new HoodieClient(tableName,tableFormat);
        client.deleteOne("1dd87dd5-8e14-4562-9234-51247264968d","table_name6");
        client.close();
    }

在这里插入图片描述

3.Spark整合hudi

Spark整合hudi这块主要是上述查询验证用到，也可以在Spark命令行去执行查看hudi数据

  • idea怎末运行scala代码配置：
    • https://www.jb51.net/article/216785.htm
    • https://blog.csdn.net/qq_53891711/article/details/123149847

（1）创建maven工程，引入依赖，采用scala语言,下面是pom.xml文件内容

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.lixiang</groupId>
    <artifactId>hudi_scala</artifactId>
    <version>1.0-SNAPSHOT</version>
    <repositories>
        <repository>
            <id>aliyun</id>
            <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
        </repository>
        <repository>
            <id>cloudera</id>
            <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
        </repository>
        <repository>
            <id>jboss</id>
            <url>http://repository.jboss.com/nexus/content/groups/public</url>
        </repository>
    </repositories>
    <properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
        <scala.version>2.12.10</scala.version>
        <scala.binary.version>2.12</scala.binary.version>
        <spark.version>3.0.0</spark.version>
        <hadoop.version>2.7.3</hadoop.version>
        <hudi.version>0.9.0</hudi.version>
    </properties>

    <dependencies>
        <!-- 依赖Scala语言 -->
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>${scala.version}</version>
        </dependency>
        <!-- Spark Core 依赖 -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_${scala.binary.version}</artifactId>
            <version>${spark.version}</version>
        </dependency>
        <!-- Spark SQL 依赖 -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_${scala.binary.version}</artifactId>
            <version>${spark.version}</version>
        </dependency>

        <!-- Hadoop Client 依赖 -->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>${hadoop.version}</version>
        </dependency>

        <!-- hudi-spark3 -->
        <dependency>
            <groupId>org.apache.hudi</groupId>
            <artifactId>hudi-spark3-bundle_2.12</artifactId>
            <version>${hudi.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-avro_2.12</artifactId>
            <version>${spark.version}</version>
        </dependency>
    </dependencies>

    <build>
        <outputDirectory>target/classes</outputDirectory>
        <testOutputDirectory>target/test-classes</testOutputDirectory>
        <resources>
            <resource>
                <directory>${project.basedir}/src/main/resources</directory>
            </resource>
        </resources>
        <!-- Maven 编译的插件 -->
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.0</version>
                <configuration>
                    <source>1.8</source>
                    <target>1.8</target>
                    <encoding>UTF-8</encoding>
                </configuration>
            </plugin>
            <plugin>
                <groupId>net.alchim31.maven</groupId>
                <artifactId>scala-maven-plugin</artifactId>
                <version>3.2.0</version>
                <executions>
                    <execution>
                        <goals>
                            <goal>compile</goal>
                            <goal>testCompile</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>

</project>

（2）编写scala代码

import org.apache.spark.sql.{DataFrame, SparkSession}

object HuDiClientTest {
  def main(args: Array[String]): Unit = {
    //创建SparkSession实例对象，设置属性
    val spark: SparkSession = {
      SparkSession.builder()
        .appName(this.getClass.getSimpleName.stripSuffix("$"))
        .master("local[2]")
        //设置序列化方式：Kryo
        .config("spark.serializer", "org.apache.spark.serializer.KryoSerializer")
        .getOrCreate()
    }
    val tableName: String = "data_raw_cow"
    val tablePath: String = "/usr/hudi/warehouse/" + tableName
    //查询数据，才采用Snapshot快照方式从Hudi表中查询数据
    queryData(spark,tablePath)

  }

  /**
   * 查询hudi数据
   * @param spark
   * @param tablePath
   */
  def queryData(spark: SparkSession, tablePath: String): Unit = {
    spark.read.format("hudi").load(tablePath).createOrReplaceTempView("hudi_table")
    spark.sql("select * from hudi_table").show(false)
  }

}
互联网小阿祥
关注
  • 12
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Hudi Java Client总结|读取Hive写Hudi代码示例
主要分享大数据相关的知识，如Spark、Hudi
10-27 4680
Hudi除了支持Spark、Fink写Hudi外，还支持Java客户端。本文总结Hudi Java Client如何使用，主要为代码示例，可以实现读取Hive表写Hudi表。当然也支持读取其他数据源，比如mysql，实现读取mysql的历史数据和增量数据写Hudi。
java源码生成jar包-hudi:大数据的更新、删除和增量处理
06-05
java源码生成jar包阿帕奇胡迪 Apache Hudi（发音为 Hoodie）代表Hadoop Upserts Deletes and Incrementals 。 Hudi 管理 DFS（云存储、HDFS 或任何 Hadoop 文件系统兼容存储）上的大型分析数据集的存储。 特征 Upsert 支持快速、可插入的索引 自动发布具有回滚支持的数据 写入器和查询之间的快照隔离 用于数据恢复的保存点 使用统计信息管理文件大小和布局 行和列数据的异步压缩 用于跟踪沿袭的时间线元数据 通过聚类优化数据湖布局 Hudi 支持三种类型的查询： 快照查询- 使用列式和基于行的存储（例如 +）的组合，提供对实时数据的快照查询。 增量查询- 提供一个更改流，其中包含在某个时间点后插入或更新的记录。 读取优化查询- 通过纯列式存储（例如 ）提供出色的快照查询性能。 了解有关 Hudi 的更多信息，请访问 从源代码构建 Apache Hudi 构建 Apache Hudi 的先决条件： 类 Unix 系统（如 Linux、Mac OS X） Java 8（Java 9 或 10 可以工作） 吉特 Mave
Hudi Java Client 测试
乐乐的博客
02-01 3470
Hudi 0.7.0 Hudi Jave Client 测试 <dependency> <groupId>org.apache.hudi</groupId> <artifactId>hudi-java-client</artifactId> <version>0.7.0</version> </dependency> 将hudi 0.7 版本编译好的 hudi-example-0.7.0
hud.java_hudi性能测试 - xleesf的个人空间 - OSCHINA - 中文开源技术交流社区
weixin_39572316的博客
02-25 703
在本节中，我们将介绍一些有关Hudi插入更新、增量提取的实际性能数据，并将其与实现这些任务的其它传统工具进行比较。插入更新下面显示了从NoSQL数据库摄取获得的速度提升，这些速度提升数据是通过在写入时复制存储上的Hudi数据集上插入更新而获得的，数据集包括5个从小到大的表(相对于批量加载表)。 由于Hudi可以通过增量构建数据集，它也为更频繁地调度摄取提供了可能性，从而减少了延迟，并显著节省了总体...
数据湖架构Hudi（五）Hudi集成Flink案例详解
qq_44665283的博客
03-06 3510
数据湖架构Hudi（五）Hudi集成Flink案例详解
hudi-hadoop-mr-bundle-0.11.0.jar
06-28
hudi-hadoop-mr-bundle-0.11.0.jar 配合文档
hudi-spark3.2-bundle_2.12-0.11.0.jar
06-28
配合文档
hudi-spark-bundle.jar
04-13
hudi:0.10.1 spark:3.1.3 scala:2.12 hadoop:3.1.0 hive:3.1.0
hudi-spark3-bundle_2.12-0.10.0-SNAPSHOT.jar
11-27
spark读取hudi，hudi版本0.10
hudi-flink1.14-bundle_2.12-0.11.0.jar
06-28
hudi-flink1.14-bundle_2.12-0.11.0.jar
Flink CDC使用Java DataStream API写入Hudi，实时同步业务库
u014519384的博客
07-07 2551
需要源码或者进Flink微信交流群的请+V ：zoomake1024在上一篇文章介绍了使用Flink SQL消费Kafka实时入湖的方法，全程都是SQL实现的，但是当处理逻辑复杂时，SQL并不是那么灵活，此时通过编码的方式可以更好的驾驭整个框架。本篇介绍下，如何使用Java DataStream API以编码的方式，通过Flink CDC同步MySQL数据到Hudi，在整个过程中遇到了很多问题，会一并给出解决方案。主要是参考Hudi源码中的HoodieFlinkStreamer来实现的，首先说明POM文件.
hud.java_Java 注解 入门
weixin_39629269的博客
02-25 95
这几天在学习Spring3.x,发觉现在许多框架都用上了java注解功能，然后自己就对java注解这方面初步学习了一下。首先，注解跟注释不是一个意思，也根本不是同一个事物。注释就是我们平常平常中对代码作解释的，也就是常见的"//..........."和"/*..............*/",相信大家也很熟悉，这里就不多说了。对于注解，可以说是一个非常有用的技术，何为注解，其实注解就是作为一种描...
Hudi源码|Insert源码分析总结（一）(整体流程)
主要分享大数据相关的知识，如Spark、Hudi
11-11 3615
Hudi Java Client总结|读取Hive写Hudi代码示例。以Java Client为例的原因：1、自己生产上用的Java Client，相比于Spark客户端更熟悉一点。2、Java Client和Spark、Flink客户端核心逻辑是一样的。不同的是比如Spark的入口是DF和SQL，多了一层API封装。3、Java Client更贴近源码，可以直接分析核心逻辑。不用剖析Spark、Flink源码。对Sprk、Flink源码不熟悉的更容易上手。
Hudi-Flink消费kafka将增量数据实时写入Hudi(java)
qq_38304392的博客
03-09 349
零、步骤 一、Flink SQL集成Kafka 1.创建topic(一分区一备份) flink-topic 2.准备flink-sql-connector-kafka_2.12-1.13.1.jar，放入flink/lib下 3.启动client,指定jar ./sql-client.sh embedded -j ../lib/flink-sql-connector-kafka_2.12...
hadoop 关于 java api 的使用
03-21 146
关于 hadoop 在 java 中 api 的调用 在使用前，请确保 hadoop-client 包已经成功导入 <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client --> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</arti
Hudi学习笔记5 - Hudi配置分析（1）
一见
05-08 654
Hudi 官方配置文档：https://hudi.apache.org/docs/configurations，从源码分析可以看到配置项 hoodie.payload.ordering.field 已经废弃，取而代之的是 hoodie.datasource.write.precombine.field。
Hudi原理 | Apache Hudi初学者指南
Focus on Lakehouse
11-23 3429
在深入研究Hudi机制之前，让我们首先了解Hudi正在解决的问题。客户在使用数据湖时通常会问一个问题：当源记录被更新时，如何更新数据湖？这是一个很难解决的问题，因为一旦你写了CSV或Pa...
02_快速体验 Hudi、编译 Hudi、安装HDFS、安装Spark 3.x、模拟数据、插入数据、查询数据、.hoodie文件、数据文件、Hudi 数据存储概述、Metadata 元数据等
涂作权的博客
08-11 1238
Hudi数据集的组织目录结构与Hive表示非常相似，一份数据集对应这一个根目录。数据集被打散为多个分区，分区字段以文件夹形式存在，该文件夹包含该分区的所有文件。在根目录下，每个分区都有唯一的分区路径，每个分区数据存储在多个文件中。每个文件都有惟一的fileId和生成文件的commit所标识。如果发生更新操作时，多个文件共享相同的fileId，但会有不同的commit。每条记录由记录的key值进行标识并映射到一个fileId。
Hudi入门到实战
S1124654的博客
12-20 1998
Hudi入门到实战
java使用使用hudi-spark-client创建hudi表并写数据到hudi表中
最新发布
09-22
<artifactId>hudi-spark-bundle_2.12 <version>0.9.0 <!-- Spark --> <groupId>org.apache.spark <artifactId>spark-core_2.12 <version>3.1.1 <groupId>org.apache.spark <artifactId>spark-sql_...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

互联网小阿祥

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值