大数据
文章平均质量分 62
chenzuoli
chenzuoli.github.io
展开
-
datahub Unable to run quickstart:Docker doesn‘t seem to be running. Did you start it?
datahub docker quickstart时,报错Docker doesn't seem to be running.原创 2022-04-29 11:27:01 · 2260 阅读 · 0 评论 -
clickhouse使用注意事项——持续更新中
看到了clickhouse的存储优势和单表计算优势,现在说说它在应用中有哪些坑在里面,还有我们应该怎么使用它。原创 2022-04-26 21:19:53 · 565 阅读 · 0 评论 -
hadoop2和hadoop3的比较
hadoop3出来几年了,我们还在用hadoop2吗?原创 2022-03-24 15:51:22 · 2852 阅读 · 0 评论 -
Clickhouse数据库引擎Mysql
今天介绍一个数据库引擎mysql,它能够做到访问和操作mysql的数据。原创 2022-03-12 17:03:22 · 2559 阅读 · 0 评论 -
Clickhouse表引擎ReplacingMergeTree
clickhouse不支持直接更新,而是通过merge的方式实现的,上次说了CollapsingMergeTree,今天来说下另外一种ReplacingMergeTree原创 2022-03-12 10:52:50 · 406 阅读 · 0 评论 -
Clickhouse表引擎CollapsingMergeTree
更新删除机制支持地不太友好,不能及时查询更新或删除的数据,那么今天来看下它的表引擎CollapsingMergeTree怎么使用原创 2022-03-11 15:06:38 · 434 阅读 · 0 评论 -
说下最近解决的几个大的问题
说下最近工作中遇到的一些大的问题及解决方案。原创 2022-03-06 09:48:18 · 135 阅读 · 0 评论 -
说下调度系统airflow的一些问题
airflow它有许多优点也有一些缺点,之前的文章写了它的优点、特点,下面来说下它的问题。原创 2022-03-06 09:42:47 · 655 阅读 · 0 评论 -
数据湖与数据仓库的区别
什么是数据湖?什么是数据仓库?原创 2022-01-19 00:13:11 · 3216 阅读 · 0 评论 -
kafka和rabbitmq的区别
说说我们在数据领域用的比较多的消息队列组件:kafka和rabbitmq。原创 2022-01-16 15:36:11 · 2499 阅读 · 0 评论 -
BI工具介绍
用的比较多的几个BI工具,助力商业智能、数据分析。原创 2022-01-16 15:20:07 · 1917 阅读 · 0 评论 -
说说大数据
大数据,我们现在应该听的很多,那么应该掌握哪些知识才算入门了大数据呢?如何去学习它呢?原创 2022-01-15 14:28:24 · 323 阅读 · 0 评论 -
airflow介绍
标题: airflow介绍日期: 2021-10-16 09:14:58标签: [airflow,调度系统]分类: 调度系统airflow是一个基于python的轻量级调度系统,管理crontab表达式进行任务的调度,我们只需要编写相对应的python脚本,即可完成任务的调度。目前airflow已经与各关系型数据库(mysql oracle postgresql等)、大数据相关数据库组件(hive hbase es等)建立了联系,旨在更流畅地完成任务的调度,也可以自定义相关operator,.原创 2021-10-16 10:01:06 · 681 阅读 · 0 评论 -
说说数据那些事
标题: 说说数据那些事日期: 2021-07-28 22:53:38标签: [数据仓库,数据]分类: 数据今天来说说我做数据这些年的一些感悟和体会,希望能够讲的通俗易懂,化繁为简,给刚入门的小伙伴一些帮助。数据,是当今世界很重要也很值钱的东西,从哪里来,怎么处理,到哪里去,这是要弄清楚的最基本路线图,本文分着3个部分来分别讲解。从哪里来数据从哪里来的呢,从业务系统(网站浏览、点赞、评论等交互数据)、app、小程序、邮件系统等等系统产生,存储在关系型或菲关系新数据库中,或者直接落地磁盘,.原创 2021-07-28 23:59:10 · 286 阅读 · 1 评论 -
Flink实时数仓第一篇数据接入
Flink实时数仓第一篇数据接入欢迎来到实时数仓1.为什么选择Hbase中转,而不是直接入Hive?2.oracle接入为什么这么复杂?3.不支持的cdc数据源怎么办?欢迎来到实时数仓最近在做实时数仓相关工作,了解到一些皮毛,但是大致方向还是对的,目前有一些眉目和进展,就跟大家讲讲。今天讲讲实时数据接入吧,怎么将数据实时接入到数据湖或者数据仓库。来看看流程图:1.为什么选择Hbase中转,而不是直接入Hive?因为Hive不支持更新操作,Hbase可以,当然ES也可以作为中转组件2.orac原创 2021-07-17 10:07:21 · 1873 阅读 · 0 评论