Doris/Clickhouse/Druid
文章平均质量分 63
OLAP应用
羲凡丞相
get busy living ,or get busy dying
展开
-
踩坑——Doris,Can‘t get Kerberos realm, cause by: Can‘t get Kerberos realm
踩坑——Doris,Can't get Kerberos realm, cause by: Can't get Kerberos realm原创 2022-11-03 10:53:36 · 2145 阅读 · 1 评论 -
Clickhouse —— PROJECTION 创建物化删除
clickhouse Projection 使用 创建物化删除原创 2022-09-19 16:17:43 · 1270 阅读 · 0 评论 -
Clickhouse 分布式子查询——global in/join(慎用慎用)
@羲凡——只为了更好的活着Clickhouse 分布式子查询——global in(慎用慎用)不能一味的追求查询效率,将分布式子查询都改成global in,一定要结合业务逻辑假设:有一个分布式表,字段班级、姓名、年龄,ck集群有两个分片classnameage102EEE10102GGG10103DDD8103BBB9103AAA10103CCC10103GGG111、建表语句CREATE TABLE t原创 2021-05-08 17:41:54 · 11694 阅读 · 27 评论 -
Clickhouse 监控运维常用SQL小结
@羲凡——只为了更好的活着Clickhouse 监控运维常用SQL小结1、查看磁盘空间SELECT name, path, formatReadableSize(free_space) AS free_space, formatReadableSize(total_space) AS total_space, typeFROM system.disks2、查看表大小SELECTtable,formatReadableSize(sum(data_com原创 2021-04-25 16:58:49 · 1195 阅读 · 2 评论 -
踩坑——Clickhouse,Timeout exceeded: While executing Remote, Stack trace
@羲凡——只为了更好的活着踩坑——Clickhouse,Timeout exceeded: While executing Remote, Stack trace当某个查询超过5分钟的时候,无论在命令行还是查询服务中,都会出现 Timeout exceeded: While executing Remote, Stack trace .查看max_execution_time和distributed_ddl_task_timeout 两个参数也没毛病。解决方案:在users.xml的 yande原创 2021-04-06 20:39:58 · 2949 阅读 · 0 评论 -
Clickhouse 数据库连接工具——DBeaver
@羲凡——只为了更好的活着Clickhouse 数据库连接工具——DBeaver1.下载 DBeaver 和 连接驱动https://dbeaver.io/files/dbeaver-ce-latest-x86_64-setup.exehttps://jar-download.com/?search_box=clickhouse-jdbc2.安装一路next到结束,简单吧,这里就不截图了3.连接ck第一步第二步第三步4.连接成功截图|||===============原创 2021-03-10 17:12:57 · 4079 阅读 · 2 评论 -
Clickhouse 集群监控(Prometheus+Grafana)
@羲凡——只为了更好的活着Clickhouse 集群监控(Prometheus+Grafana)ClickHouse 从 v20.1.2.4 开始,内置了对接 Prometheus 的功能,可以将其作为 Prometheus 的 Endpoint 服务,从而自动的将 metrics、events 和 asynchronous_metrics 三张系统的表的数据发送给 Prometheus。前期准备选4台机器安装Clickhouse集群另选一台机器作为监控机器,先安装Docker一、修改Click原创 2021-01-29 17:35:51 · 3096 阅读 · 7 评论 -
Clickhouse 外部表、本地表、副本表和分布式表
@羲凡——只为了更好的活着Clickhouse 外部表、本地表、副本表和分布式表四个表简介外部表:ck中只有元数据,数据在hdfs等外部存储介质中本地表:ck的单机表,在某台机器上创建,就只能在这个机器上使用副本表:数据在ck集群上,每个分片有多个副本分布式表:相当于传统数据库的视图,对大批量的数据不推荐直接插分布式表前期准备a.安装 两分片两副本的Clickhouse集群b.样例数据1,羲凡,29,1992-02-27,nj5,张三,27,1994-02-27,sh3,李四,29原创 2021-01-19 21:04:13 · 3209 阅读 · 0 评论 -
Clickhouse 集群安装(完整版)
@羲凡——只为了更好的活着Clickhouse 集群安装(完整版)前期准备安装zookeeper集群步骤1.先安装四个单机的clickhouse2.在四台机器上新建 /etc/metrika.xml 文件,生成两分片两副本集群一、安装单机clickhouse(四台都操作,以Centos为例)官网Centos/Ubuntu/Docker安装1.1.在线安装yum install yum-utilsrpm --import https://repo.clickhouse.tech/CLIC原创 2021-01-19 20:04:10 · 4539 阅读 · 2 评论 -
Doris hdfs数据导入doris动态分区表
@羲凡——只为了更好的活着Doris hdfs数据导入doris动态分区表本文重点1.动态分区表创建2.读取路径作为分区参数3.预聚合增加count列——set (cnt = 1)4.broker load 的 hdfs HA 配置前期准备1.安装好doris——Doris 编译安装(完整版)2.doris基本知识扫盲Doris的数据模型主要分为3类:Aggregate、Duplicate、Unique;Doris支持单分区和复合分区两种建表方式;单分区指的是只指定分桶;复合分区指原创 2021-01-07 12:19:02 · 3731 阅读 · 7 评论 -
Doris 编译安装(完整版)
@羲凡——只为了更好的活着Doris 编译安装(完整版)前期准备安装java8、mysql、docker安装java8、mysql 这个基本操作,晚上也有很多例子,我就不赘述了。安装docker,这有两个博客拿走不谢(Centos7和Ubuntu)集群规划可能有小白会问,为啥只有 FE-Follower ,却没有FE-Leader?因为Leader是从Follower中选举出来的,如果自由一个Follower ,那么它就呗选举为LeaderhostnameFE-FollowerF原创 2020-12-16 18:23:39 · 6100 阅读 · 13 评论 -
Druid完整版集群安装——druid0.18.1
@羲凡——只为了更好的活着Druid完整版集群安装——druid0.18.1前期准备安装zookeeper、java8、mysql集群规划hostname主节点数据节点查询节点mysqlml16.com√ml20.com√ml21.com√√ml22.com√一、下载解压配置环境变量每台机器都要操作1.下载安装包wget http://archive.apache.org/dist/druid/0.18.1/a原创 2020-07-01 15:58:33 · 1172 阅读 · 2 评论