Clickhouse使用总结

       使用记录。

        前段时间参与的项目主要采集大量的日志数据，进行各种的存储和分析，并产出可展示的数据，提供出接口等供其他项目和大屏进行展示。最开始项目中数据存储采用mysql，但当多种类型日志量急剧上升到千万级别之后，管理查询处理数据就会很慢，已无法满足需求。故查找解决方案，发现神器Clickhouse。

        经测试，Clickhouse并发支持率不高，实际在数据库并发连接20-30左右会出现崩溃现象，几分钟后自动重启，所以最好是少量的连接，只进行数据的插入和分析等操作。插入的效率很高，但及其占用cpu资源，服务器性能要求较高。

        单机数据量支持亿级别，目前项目中的日志，部分已超亿级甚至10亿级，同时关联其他如组织表用户表等进行多表关联及分组、排序等查询，仍可在几秒内进行处理完成，更复杂的sql能在20秒内执行完成，满足数据汇总需求。

        单机能满足大部分的需求，生产环境最好还是集群部署。

        1，cilckhouse简介

            参考：ClickHouse介绍

        2，clickhouse离线安装部署

            参考：Clickhouse在CentOS下离线安装并新建用户远程连接_clickhouse-server-19.17.10.1-1.el7.x86_64-CSDN博客

        3，clickhouse安装包下载地址

                Index of /clickhouse/rpm/stable/x86_64/

        4，备份  clickhouse-backup

                clickhouse-backup - 简书

                clickhouse使用clickhouse-backup来本地和远程备份文件_clickhouse-backup config.yml-CSDN博客

大数据-ClickHouse技术六（clickhouse-backup备份）-CSDN博客

        5，clickhouse-backup注意事项

                ① backup会默认生成在数据目录下的backup文件夹下

                ② backup恢复的时候也要把备份文件复制到数据目录下的backup文件夹中，不然会找不到

                ③ backup文件夹下的恢复文件，最好chown clickhouse:clickhouse 设置下，避免出现问题