目录
一、准备环境
1、pom.xml
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>org.example</groupId>
<artifactId>spark-iceberg</artifactId>
<version>1.0-SNAPSHOT</version>
<properties>
<maven.compiler.source>8</maven.compiler.sour
本文介绍了如何在大数据环境中使用Iceberg与Spark DataFrame进行数据操作。通过设置pom.xml文件和核心代码,展示了在IDEA中运行、spark-submit提交以及通过spark-sql查看结果的流程。在错误排障部分,提到了本地IDEA运行时由于`spark-sql_2.12`依赖设置为`provided`导致的NoClassDefFoundError问题,并给出了去除`provided`标签以解决该问题的建议。
订阅专栏 解锁全文
1317

被折叠的 条评论
为什么被折叠?



