![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 83
aaaak_
日常跳坑
展开
-
kettle 入门配置
kettle(水壶)是一个 免费开源的 Extract-Transform-Load (ETL) 工具 ,被 Pentaho 集团收购,并更名为 Pentaho Data Integration (PDI ) 当中又包含了四大厨房厨具相关的扮演了重要角色的模块,它们分别是Spoon(勺子),Pan(平底锅),Kitchen(厨房),Carte(菜单)原创 2022-10-15 17:21:41 · 1449 阅读 · 0 评论 -
Apache DolphinScheduler 整合 Apache Knox 网关
为使用者统一提供大数据生态组件UI入口,同时将所有的组件进行加密,统一ldap登录,相比较于Nginx来说Knox完美提供了这一点原创 2022-10-12 16:30:41 · 1348 阅读 · 0 评论 -
Flink 离线批处理 Mysql to Hive 离线数仓
source 端读取mysql .sink 端 写入 Hive原创 2022-09-30 17:07:47 · 1679 阅读 · 0 评论 -
Hadoop 服务 组件
Hadoop 服务 组件。原创 2022-09-24 18:16:50 · 712 阅读 · 0 评论 -
mysql-窗口函数 快速学习
MySQL 8.0 开始支持窗口函数,对于查询中的每一行,它使用与该行相关的行执行计算。以下部分讨论如何使用窗口函数,包括 OVER 和 WINDOW 子句的描述。第一部分提供非聚合窗口函数的描述。原创 2022-09-24 18:15:59 · 417 阅读 · 0 评论 -
Sqoop 快速学习
Sqoop是一款开源的工具,主要用于在Hadoop与传统的数据库间进行数据的传递,可以将一个关系型数据库中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。原创 2022-09-24 18:15:02 · 888 阅读 · 0 评论 -
Apache Kafka 快速学习大纲
定义Kafka传统定义:Kafka是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用于大数据实时处理领域。Kafka 最新定义:Kafka是一个开源的分布式事件流平台(Event Streaming Platform),被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。kafka 场景(1)日志收集:收集各种服务的 log,通过 kafka 以统一接口服务的方式开放 给各种 consumer,例如 Hadoop、Hbase、Solr 等;原创 2022-09-03 15:42:39 · 553 阅读 · 0 评论 -
数仓架构演进
数仓架构演进3.0原创 2022-09-02 17:43:51 · 1852 阅读 · 0 评论 -
Apache Doris 快速学习大纲
Doris是一种MPP架构的分析型数据库,主要面向多维分析、数据报表、用户画像分析等场景。自带分析引擎和存储引擎,支持向量化执行引擎,不依赖其他组件,兼容MySQL协议。原创 2022-09-02 15:43:15 · 1422 阅读 · 0 评论 -
大数据基础架构选型
在处理大数据上,Hadoop 已经成为事实上的标准 ,但是 hadoop 生态组件很多 面临的问题也很多在本地系统上独立安装 Apache Hadoop 是非常容易的(只需解压缩并设置某些环境变量,然后就可以开始使用了)。但是这只合适于入门和做一些基本的教程学习。如果你想在一个或多个“真正的节点”上安装 Apache Hadoop,那就复杂多了。需要考虑到复杂的集群设置组件的兼容性运维管理⼯具(配置、部署、管理、监控、告警).........原创 2022-08-29 14:48:33 · 918 阅读 · 0 评论 -
Flink cdc connectors RocketMQ
Flink cdc connectors RocketMQ原创 2022-08-29 10:56:50 · 2096 阅读 · 2 评论 -
Flink 简单 入门大纲
Flink 简单入门原创 2022-08-26 17:42:31 · 409 阅读 · 0 评论 -
数据中台方案
数据中台方案原创 2022-08-20 11:24:30 · 1547 阅读 · 0 评论 -
一篇文章让你理解 大数据所需要的组件
一篇文章让你理解 大数据所需要的组件原创 2022-07-02 01:08:33 · 6551 阅读 · 1 评论