![](https://img-blog.csdnimg.cn/20190927151132530.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据训练营
文章平均质量分 95
大数据日常知识积累
莱恩大数据
就职于大型金融互联网科技公司,参与多个高并发分布式大型项目的研发与设计,技术领域涉及数据治理、数据分流、数据同步,一个热衷于Java大数据技术的爱好者!
展开
-
关于Airflow跨DAG依赖总结
Airflow是一个工作流分配管理系统,通过有向非循环图的方式管理任务流程,设置任务依赖关系和时间调度。Airflow独立于我们要运行的任务,只需要把任务的名字和运行方式提供给Airflow作为一个task就可以原创 2023-02-16 15:48:42 · 1997 阅读 · 0 评论 -
大数据技术之(一) Spark-Core
第1章 Spark 概述1.Spark是什么Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。2.Spark and Hadoop在之前的学习中,Hadoop 的 MapReduce 是大家广为熟知的计算框架,那为什么咱们还要学习新的计算框架 Spark 呢,这里就不得不提到Spark 和Hadoop 的关系。首先从时间节点上来看:Hadoop 2006 年 1 月,Doug Cutting 加入Yahoo,领导Hadoop 的开发 2008 年 ..原创 2021-07-07 01:16:02 · 1100 阅读 · 0 评论 -
大数据技术之Kafka
(作者:尚硅谷大数据研发部)版本:V2.0文章目录前言 一、pandas是什么? 二、使用步骤 1.引入库 2.读入数据 总结前言提示:这里可以添加本文要记录的大概内容:例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。一、kafka概述1.1 消息队列(1)点对点模式(一对一,消费者主动拉取数据,消息收到后消息清除)点对点模型通常是一个基于拉取或者轮询的消息.....原创 2021-07-06 23:48:38 · 1332 阅读 · 1 评论 -
大数据技术之 Flink-CDC
大数据技术之 Flink-CDC原创 2022-06-06 18:25:08 · 2299 阅读 · 0 评论 -
Presto Event Listener开发
presto查询引擎插件开发原创 2022-08-09 18:49:22 · 425 阅读 · 0 评论 -
大数据技术之 Maxwell(1.29.2版本)(最新最全教程)
maxwell原创 2021-12-24 17:20:33 · 11528 阅读 · 0 评论 -
大数据技术之Flink
1.1 初识 FlinkFlink 起源于 Stratosphere 项目,Stratosphere 是在 2010~2014 年由 3 所地处柏林 的大学和欧洲的一些其他的大学共同进行的研究项目,2014 年 4 月 Stratosphere 的 代 码被 复制 并捐赠 给了 Apache 软件基 金会, 参加 这个 孵化项 目的 初始 成员 是 Stratosphere 系统的核心开发人员,2014 年 12 月,Flink 一跃成为 Apache 软件基金 会的顶级项目。 在德语中,Fl.原创 2021-08-04 15:24:00 · 431 阅读 · 0 评论 -
大数据技术之Canal(1.1.2版本-最新最全详解)
第 1 章 Canal 入门1.1什么是Canal 阿里巴巴B2B公司,因为业务的特性,卖家主要集中在国内,买家主要集中在国外,所以衍生出了同步杭州和美国异地机房的需求,从2010年开始,阿里系公司开始逐步的尝试基于数据库的日志解析,获取增量变更进行同步,由此衍生出了增量订阅&消费的业务。 Canal是用Java开发的基于数据库增量日志解析,提供增量数据订阅&消费的中间件。目前。Canal主要支持了MySQL的Binlog解...原创 2021-12-31 14:54:44 · 2309 阅读 · 0 评论