![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据仓库
文章平均质量分 68
chenzuoli
chenzuoli.github.io
展开
-
airflow部署问题集锦
没事写写,记录一下曾经的工作,新版airflow的搭建原创 2022-10-23 20:24:16 · 729 阅读 · 0 评论 -
postgresql存储过程基本语法
我是Lee,一枚数据开发,不定期更新一下博客,今天说下postgresql创建存储过程procedure的语法原创 2022-09-08 22:19:32 · 1641 阅读 · 0 评论 -
说下最近解决的几个大的问题
说下最近工作中遇到的一些大的问题及解决方案。原创 2022-03-06 09:48:18 · 124 阅读 · 0 评论 -
数据湖与数据仓库的区别
什么是数据湖?什么是数据仓库?原创 2022-01-19 00:13:11 · 3199 阅读 · 0 评论 -
说说大数据
大数据,我们现在应该听的很多,那么应该掌握哪些知识才算入门了大数据呢?如何去学习它呢?原创 2022-01-15 14:28:24 · 312 阅读 · 0 评论 -
flink-sql中hive-join碰到的问题
flink-sql join hive维表问题,来看看原创 2021-12-25 14:14:02 · 1175 阅读 · 2 评论 -
浅谈flink-cdc的使用
Flink cdc1.x和2.x区别太大了,如果能升级最好了,不能升级,那么我们怎么避免1.x给我们带来的问题呢?下面结合我在公司生产的实践,给大家说说。原创 2021-12-19 11:14:09 · 10382 阅读 · 3 评论 -
airflow的check机制介绍
标题: airflow的check机制介绍日期: 2021-12-18 11:26:14标签: [airflow,check]分类: 调度系统我们使用airflow的其中一个原因,就是管理任务流,及任务流之间的依赖关系。传统的任务调度,大概就是通过linux自带的crontab方式进行任务的定时调度,那么如果crontab任务过多,crontab表达式是按照顺序执行的,那么怎么完成复杂的依赖问题呢。airflow就可以解决复杂的依赖问题,任务流之间如何串行、并行执行,只需定义一个cront.原创 2021-12-18 13:13:05 · 448 阅读 · 0 评论 -
Flink-cdc所带来的问题
标题: Flink-cdc所带来的问题日期: 2021-11-28 22:45:09标签: [flink,flink-cdc]分类: Flink今天说下flink-cdc吧,最近工作中遇到了一个比较棘手的问题。我们都知道flink对比其他流计算引擎,其中一个优势就是cdc,它能够作为各个数据源的source和sink,实时接入和实时推送数据,为我们解决了实时接入和推送的问题。工作中用到了flink mysql-cdc,实时导入mysql数据的增删改,你需要做的就是简单配置一个sql,即可搞.原创 2021-11-28 23:17:23 · 4768 阅读 · 2 评论 -
flink-connector中kafka和upsertkafka的介绍
标题: flink-connector中kafka和upsertkafka的介绍日期: 2021-08-03 16:46:43标签: [flink, kafka, upsert kafka, 实时数仓]分类: 数据仓库今天来说下flink sql中常用到的connector:kafka,它承接了实时的消息数据,进行处理,当然,这些消息的特点有可能不一样,怎样处理,得到实时的结果,提供给分析、运营、营销等等。下面来看看具体有什么区别,怎么使用。kafka中的实时消息,它也可以是关系型数据库的c.原创 2021-08-03 21:01:44 · 3619 阅读 · 0 评论 -
说说Flink的连接器connector有哪些,怎么用?
标题: ‘说说Flink的连接器connector有哪些,怎么用?’日期: 2021-07-31 10:26:51标签: [flink,connector]分类: 数据仓库flink作为一个计算引擎,是缺少存储介质的,那么数据从哪儿来,到哪儿去,就需要连接器了,链接各种类型数据库,各种类型组件进行数据的抽取、计算、存储等,下面来看看flink都有哪些connector,怎么使用的?介绍看看目前支持的connector:这是官方给出的:有些支持数据源,有些不支持数据源,有些支持无边界流.原创 2021-07-31 11:59:29 · 4833 阅读 · 1 评论 -
说说数据那些事
标题: 说说数据那些事日期: 2021-07-28 22:53:38标签: [数据仓库,数据]分类: 数据今天来说说我做数据这些年的一些感悟和体会,希望能够讲的通俗易懂,化繁为简,给刚入门的小伙伴一些帮助。数据,是当今世界很重要也很值钱的东西,从哪里来,怎么处理,到哪里去,这是要弄清楚的最基本路线图,本文分着3个部分来分别讲解。从哪里来数据从哪里来的呢,从业务系统(网站浏览、点赞、评论等交互数据)、app、小程序、邮件系统等等系统产生,存储在关系型或菲关系新数据库中,或者直接落地磁盘,.原创 2021-07-28 23:59:10 · 276 阅读 · 1 评论 -
Flink实时数仓第一篇数据接入
Flink实时数仓第一篇数据接入欢迎来到实时数仓1.为什么选择Hbase中转,而不是直接入Hive?2.oracle接入为什么这么复杂?3.不支持的cdc数据源怎么办?欢迎来到实时数仓最近在做实时数仓相关工作,了解到一些皮毛,但是大致方向还是对的,目前有一些眉目和进展,就跟大家讲讲。今天讲讲实时数据接入吧,怎么将数据实时接入到数据湖或者数据仓库。来看看流程图:1.为什么选择Hbase中转,而不是直接入Hive?因为Hive不支持更新操作,Hbase可以,当然ES也可以作为中转组件2.orac原创 2021-07-17 10:07:21 · 1825 阅读 · 0 评论