![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 85
大数据相关介绍
流月up
后端java开发,熟悉spring源码,大数据开发工程师,从事大数据架构搭建及二次代码开发
展开
-
Dolphinscheduler单机部署
Standalone仅适用于 Dolphinscheduler 的快速体验原创 2024-04-11 08:36:43 · 380 阅读 · 0 评论 -
3.hadoop HA-QJM 安装
本文主要实践了 hadoop HA QJM 安装 hadoop 版本 3.3.6原创 2024-01-12 08:44:52 · 1105 阅读 · 0 评论 -
以csv为源 flink 创建paimon 临时表相关 join 操作
目标:生产中有需要外部源数据做paimon的数据源,生成临时表,以使用与现有正式表做相关统计及 join 操作。环境:各组件版本如下paimon 0.5 正式版本hive 3.1.3原创 2023-12-12 08:37:43 · 363 阅读 · 0 评论 -
3.paimon分区设置及分区自动失效
大数据中分区为加速查询,提供了很好的途径,对于大表,生产中加上分区,并按分区查询,性能提升巨大,分区的字段最好具有平均分布数据的功能,能解决大部分或者一部分查询慢的问题,收益最大;对于大表的另一个问题,就是数据无限膨胀,但磁盘有限,在paimon中这些问题都有解决方案,就是分区和分区自动失效功能paimon相关文章请移步paimon官方文档如何设置分区paimon官方相关文档分区失效。原创 2023-10-23 09:53:20 · 402 阅读 · 1 评论 -
1.hive安装
hive环境安装及相关配置 , 为后面大数据相关整合提供基础;hive版本为3.1.3相关文章系列聚合。原创 2023-10-19 15:02:46 · 122 阅读 · 1 评论 -
hadoop一主三从安装
hadoop 3.2.4版本;一主三从安装,修改hadoop的配置文件。原创 2023-10-17 16:28:07 · 246 阅读 · 1 评论 -
hadoop安装基础环境安装一
hadoop前置基础安装环境配置,jdk8,hadoop 3.2.4包,linux 7基础环境配置原创 2023-10-17 14:13:07 · 144 阅读 · 1 评论