![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Delta Lake
文章平均质量分 96
黑眼圈@~@
不断的学习只为骄傲的活着。
展开
-
Hive映射Delta表以及Spark3-sql操作DL表
Hive映射Delta表参考:git源码,连接器jar包:delta-hive-assembly_2.11-0.2.0.jar,delta-hive-assembly_2.12-0.2.0.jar,hive-delta_2.11-0.1.0.jar我们使用Spark操作DL表很方便,但是想更方便的用Hive去查看DL表,怎么做呢?经过测试趟坑,总结以下文章。各位大牛转载的请备注我的链接地址一、集群环境组件版本HDFS2.8.4Hive2.3.2Spark3.原创 2021-02-08 16:26:45 · 1776 阅读 · 0 评论 -
Delta Lake的调研报告
Delta Lake的调研报告参考:DeltaLake官网,Delta 初探,DeltaLake,DeltaLake详解架构图Delta Lake简介在说 Delta Lake 之前,要先提一下 Data Lake ,Data Lake 的主要思想是将企业中的所有数据进行统一管理。例如基于 Hadoop 的 Data Lake 方案可以非常低成本的存储所有类型的数据。基于 hadoop 的方案只支持批量插入,且用户读取时可能无法获取最新数据,多用户同时进行写操作还会发生异常,带来脏数据的问题,原创 2021-01-27 14:19:16 · 639 阅读 · 0 评论 -
Delta Lake 测试案例
Delta Lake 测试案例参考:官网本篇我将写几个测试用例,来测试其功能,我这里使用sbt去创建项目,数据落盘到我本地电脑一、创建项目:组件版本sbt1.4.2scala2.12.10Spark3.0.0DeltaLake0.7.0build.sbt文件name := "DaltaLake"version := "0.1"scalaVersion := "2.12.10"libraryDependencies += "org.apach原创 2021-02-02 15:46:25 · 852 阅读 · 0 评论