clickhouse
文章平均质量分 87
写轮眼之大数据
关注同名微信公众号,获取更多文章
展开
-
Apache Hudi的流批一体架构实践某宝
一、前言当前公司的大数据实时链路如下图,数据源是MySQL数据库,然后通过Binlog Query的方式消费或者直接客户端采集到Kafka,最终通过基于Spark/Flink实现的批流一体计算引擎处理,最后输出到下游对应的存储。二、 模型特征架构的演进2.1 第一代架构广告业务发展初期,为了提升策略迭代效率,整理出一套通用的特征生产框架,该框架由三部分组成:特征统计、特征推送和特征获取模型训练。如下图所示:客户端以及服务端数据先通过统一服务Sink到HDFS上基于基HDFS数据,统计特定.原创 2021-07-03 18:59:58 · 1363 阅读 · 1 评论 -
ClickHouse实战--同步mysql(二)源码解析
六 、源码分析6.1 概述在最新源码 (v20.13.1.1) 中,ClickHouse 官方对 DatabaseMaterializeMySQL 引擎的相关源码进行了重构,并适配了 GTID 同步模式。ClickHouse 整个项目的入口 main 函数在 /ClickHouse/programs/main.cpp 文件中,主程序会根据接收指令将任务分发到 ClickHouse/programs 目录下的子程序中处理。本次分析主要关注 Server 端 MaterializeMySQL 引擎的工作流.原创 2021-06-03 23:21:00 · 458 阅读 · 0 评论 -
ClickHouse常见函数基本使用(二)
我在荒岛上迎接黎明,太阳初升时,忽然有十万支金喇叭齐鸣。—王小波13. 数组函数1.数组非空判断相关函数(真为1,假为0)SELECT empty([]), empty([1,2,3]), notEmpty([1,2,3]), notEmpty([]);2.数组长度 length() 返回数组中的元素个数。**结果类型是UInt64。该函数也适用于字符串。SELECT-- length(), -- 出现异常-- length([true, false]), -- 异常-- len原创 2021-05-26 21:55:38 · 3233 阅读 · 0 评论 -
ClickHouse常见函数基本使用(一)
尽情玩耍,尽情学习,尽情长大;在需要的时候释放善意,在必要的时候展现强硬;找到热爱的事,找到值得爱的人,然后为了他们全力以赴。—巴克曼1. 检测函数类型(clickhouse中数据的类型)SELECT toTypeName(0);-- UInt8(三位数为8)SELECT toTypeName(-0);-- Int8SELECT toTypeName(-343);-- Int16SELECT toTypeName(12.43); -- Float64(默认浮点型的数据为64),所以一般在处原创 2021-05-26 21:00:47 · 7403 阅读 · 2 评论 -
Clickhouse数据类型
1 整数类型Int RangesInt8 - [-128 : 127]Int16 - [-32768 : 32767]Int32 - [-2147483648 : 2147483647]Int64 - [-9223372036854775808 : 9223372036854775807]Uint RangesUInt8 - [0 : 255]UInt16 - [0 : 65535]UInt32 - [0 : 4294967295]UInt64 - [0 : 1844674407370原创 2021-05-22 12:19:10 · 190 阅读 · 0 评论 -
一文即懂clickhouse & 百亿级别实战
要是想见,给我打个电话就行。人和人谈不上义务性地见面,想见就见,想见才见。—— 村上春树一、背景ClickHouse是近年来备受关注的开源列式数据库,主要用于数据分析(OLAP)领域。目前国内社区火热,各个大厂纷纷跟进大规模使用:今日头条 内部用ClickHouse来做用户行为分析,内部一共几千个ClickHouse节点,单集群最大1200节点,总数据量几十PB,日增原始数据300TB左右。腾讯内部用ClickHouse做游戏数据分析,并且为之建立了一整套监控运维体系。携程内部从18年7月份原创 2021-05-12 13:11:05 · 4479 阅读 · 0 评论