![](https://img-blog.csdnimg.cn/20190918140213434.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
BigData
文章平均质量分 54
写虫师
ما هو الله
展开
-
Spark - saveAsTable + rename = 坑
目录 一、背景 二、环境及测试场景 ①、环境 ②、测试场景 三、复现历程 ①、场景探索 ②、测试用例(写数据) 1. rename表(hive引擎) 2. 观察rename后表结构 3. 记录下rename后的目录状态 4. jar包 insertInto写入第二批数据 ③、测试用例(读数据) 1. hive引擎读新路径(location)的旧数据 2. spark引擎读旧路径(path)的新数据 四、隐患 ①、隐患:数据写入和查询混乱 ②、隐患:数据管理和治理困难 五、修正方案............原创 2022-05-19 18:32:30 · 1191 阅读 · 0 评论 -
Kafka - Linux搭建本地Kafka环境
下载 官网下载 安装 配置 启动原创 2021-10-16 19:20:18 · 136 阅读 · 0 评论 -
Flink - Linux搭建本地Flink环境
下载 官网下载 - 历史版本下载 安装 配置 启动原创 2021-10-16 15:56:23 · 494 阅读 · 0 评论 -
BigData - 学习资料
文章目录 模块 链接 源头 Scala 尚硅谷大数据之韩顺平Scala 哔哩哔哩 Apache Flink Apache Flink官网中文版 Flink下载 Apache Flink Ververica的哔哩哔哩UP号 哔哩哔哩 Apache Flink Ververica的CSDN博客 CSDN Apache Flink flink-china/flink-training-course GitHub原创 2019-07-04 14:21:48 · 466 阅读 · 1 评论 -
Deepin - Linux配置Maven环境(Windows雷同)
目录1. 下载2. 配置2.1 创建安装目录2.2 copy2.3 解压2.4 修改settings.xml(重点)2.5 配置环境变量2.6 坑结束语 提前安装好JDK 1. 下载 官网下载,找到自己系统对应的版本 历史版本下载 我用的是Deepin,所以下载的是 ** ……-bin.tar.gz** # 下载安装包 wget http://mirror.bit.edu.cn/apache/ma...原创 2019-06-25 12:50:05 · 1428 阅读 · 0 评论 -
Deepin - Linux配置Scala环境(Windows雷同)
目录Linux1. 下载2. 配置2.1 创建安装目录2.2 copy2.3 解压2.4 配置环境变量!坑Windows Linux 1. 下载 官网下载 ,找到自己系统对应的版本 下载历史版本 我用的是Deepin,所以下载的是 ____.tgz # nangy @ nangy-vm in ~/Downloads [13:41:59] $ wget https://downloads.ligh...原创 2019-06-25 14:03:22 · 749 阅读 · 1 评论 -
Flink - Apache Flink 中文视频课程
文章目录 资料:https://github.com/flink-china/flink-training-course 原文链接 视频 备注 Apache Flink 零基础入门(三):开发环境搭建和应用的配置、部署及运行 配套视频 ...转载 2019-08-26 10:06:24 · 464 阅读 · 1 评论