![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 87
大数据学习记录
有人看我吗
PHP天下第一!!!!
展开
-
DataX介绍
DataX 是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。github地址详细文档操作手册支持数据框架如下:架构Reader:为数据采集模块,负责采集数据源的数据,将数据发送给Framework。Writer:为数据写入模块,负责不断向Framework取数据,并将数据写入到目的端。原创 2024-01-31 13:55:53 · 1328 阅读 · 0 评论 -
Flume介绍
Apache Flume 是一种分布式、可靠且可用的系统,用于有效地收集、汇总大量日志数据,并将其从多个不同来源转移到集中式数据存储区。Apache Flume 的使用不仅限于日志数据聚合。由于数据源是可定制的,Flume 可用于传输大量事件数据,包括但不限于网络流量数据、社交媒体生成的数据、电子邮件信息以及几乎所有可能的数据源。Source:数据收集组件,从外部数据源收集数据,并存储到 Channel 中。原创 2024-01-24 16:29:34 · 1263 阅读 · 0 评论 -
Maxwell介绍
介绍:它读取MySQL binlog并将数据更改作为JSON写入Kafka、Kinesis和其他流媒体平台(目前支持:kafka、RabbitMQ、Redis、file、Kinesis、Nats、Google Cloud Pub/Sub、Google Cloud Bigquery、SNS)版本:从v1.30.0版本开始不支持jdk1.8,支持jdk11,所以推荐使用v1.29.2版本。原创 2024-01-18 15:30:32 · 749 阅读 · 0 评论 -
Hive DDL语法
Hive的语法和MySQL大部分都相同。原创 2023-12-27 15:22:32 · 1363 阅读 · 0 评论