大数据
文章平均质量分 75
zhaoyang10
技术人员要成为最懂业务的技术专家
展开
-
docker 部署canal 配置kafka
mysql开启binlog这里使用的是 mysql 5.7.32 ,server-id可以自定义,和后面配置的canal里面的slaveId要不一样# binloglog-bin=mysql-binbinlog_format=ROWserver-id=33081修改完成后,需要重启mysql服务show variables like 'log_bin';返回 ON 表示 binlog 启动成功±--------------±------+| Variable_name | Value原创 2022-04-11 11:08:10 · 3852 阅读 · 0 评论 -
大数据 百亿级实时查询 ClickHouse SQL mysql canal kafka 数据实时同步
彪悍开源的分析数据库-ClickHouse趣头条基于ClickHouse玩转每天1000亿数据量Clickhouse替代ES后,日志查询速度提升了38倍基于ClickHouse的大数据全链路监控平台实践SpringBoot + Mybatis Plus + ClickHouse增删改查入门教程...原创 2021-12-23 16:05:05 · 4653 阅读 · 0 评论 -
大数据 Flink SQL CDC 实时数据整库同步 实时宽表 实时计算 流批一体
应用案例基于 Apache Flink 和规则引擎的实时风控解决方案 日均百亿级日志处理:微博基于Flink的实时计算平台建设基于Flink的超大规模在线实时反欺诈系统的建设与实践每秒1.8亿条高峰流量,美团数仓上FlinkFlink CDCFlink CDC采集MySQL binlog日志实时写入ClickHouseDocker 安装 FlinkDocker Hub flink最新版本docker安装flink使用Docker搭建Flink集群docker-compose 部署fl原创 2019-12-15 10:47:01 · 5460 阅读 · 3 评论 -
微服务 OLAP 大数据中台架构演进 Flink Doris Clickhouse Paimon DolphinScheduler
存储层:Hadoop hdfsElasticsearchRediskafka计算层:Hive 离线批处理Spark 实时统一批计算和实时计算Flink查询列式数据库:Hbase实时查询:ClickHouseETL接入层DataX算法平台Alink消息队列Kafka日志处理 ELKElasticsearchlogstashkibana...原创 2019-12-05 14:07:54 · 2188 阅读 · 1 评论 -
大数据架构
目前大数据主要的结构如下:从最下面一层往上依次为:一、接入层1、DataXa) dataX是一个ETL工具,阿里出品b) 采用Framework + plugin架构构建,幸运的是自带了常用的插件,比如MysqlReader、HdfsWriter等c) Standalone,无中心,每个实例之间无关联d) 性能强劲、相对于sqoop,配置更简单e) 稳定高效,我们引入DataX以...转载 2019-10-28 13:02:14 · 1898 阅读 · 1 评论 -
hadoop mapreduce实例
https://juejin.im/post/5d7e42e5e51d453bb13b66d0转载 2019-09-16 10:53:18 · 158 阅读 · 0 评论