Clickhouse
文章平均质量分 78
Ricky_Huo
曾经是个全栈,立志于不做全栈
展开
-
使用hangout将Kafka数据实时清洗写入ClickHouse
使用hangout将Kafka数据实时清洗写入ClickHouse什么是HangoutHangout可以说是JAVA版的Logstash,可以进行数据收集、分析并且将分析后的结果写入指定的地方 项目地址什么是ClickHouseClickHouse是一个数据分析的数据库,由Yandex开源 项目地址什么是hangout-output-clickhouseha...原创 2017-12-11 12:09:17 · 18212 阅读 · 6 评论 -
Hangout with ClickHouse
当我们部门发现了ClickHouse这么一个优秀数据存储仓库后,经过了一段时间的摸索测试,就把线上大部分与数据分析相关的业务迁移到了ClickHouse上。这篇文章将会介绍我们如何通过Kafka接入Nginx日志到ClickHouse中。当然,其他的应用日志也可以参照以下逻辑将数据接入ClickHouse。我们最初使用Python脚本清洗日志写入ClickHouse,但是这样开发和维护都有一定的成本原创 2017-12-27 16:25:12 · 13528 阅读 · 5 评论 -
Zookeeper一次故障处理
记录一次线上Zookeeper故障 2018.02.06部门引入了ClickHouse作为数据分析仓库,并且使用了复制表ReplicatedMergeTree,两个集群复制表的数据同步依赖Zookeeper,上线前就对Zookeeper的性能产生过顾虑,但是线上运行一段时间后,未发现异常。直到最近几周,故障频现,本文主要记录故障处理过程以及故障处理的一些思考和坑。第一次故障...原创 2018-02-08 12:09:40 · 17951 阅读 · 3 评论 -
ClickHouse JDBC插入性能测试(基于Hangout)
ClickHouse Format Performance TEST of JDBC前言Hangout-output-Clickhouse目前支持3种形式的数据插入,Values、JSONEachRow以及TabSeparated。这三种方式最终插入SQL如下Valuesinsert into db.table (date, datetime, domian, uri,...原创 2018-03-21 11:33:52 · 23187 阅读 · 0 评论 -
如何快速地把HDFS中的数据导入ClickHouse
如何快速地把HDFS中的数据导入ClickHouseClickHouse是面向OLAP的分布式列式DBMS。我们部门目前已经把所有数据分析相关的日志数据存储至ClickHouse这个优秀的数据仓库之中,当前日数据量达到了300亿。之前介绍的有关数据处理入库的经验都是基于实时数据流,数据存储在Kafka中,我们使用Java或者Golang将数据从Kafka中读取、解析、清洗之后写入ClickH...原创 2018-11-07 17:12:07 · 19409 阅读 · 3 评论