qq_42016966的博客

Google Guice（读音：juice）是从Google AdWords项目开源出来的一款轻量级的依赖注入（DI，Dependency Injection）框架(类似于spring boot依赖注入框架)注解：@Inject 注入类（跟spring 的Autowired类似）注解：@Singleton单例模式（跟spring 的Singleton类似）主类：package com.zhangmen;import com.beust.jcommander.JCommander;impor

spark thrift server的web ui在运行时可以看到sql查询的提交用户，执行sql等信息但是当这个实例停掉或者异常终止以后，你再去spark history server的webui去查看，发现这部分信息就没有了……究其原因，原来spark thrift server并没有将这部分数据序列化到spark history server的store中，回头有空可以单独讲讲这部分源码的实现这篇帖子是使用一个折中的办法实现了这部分数据的日志留存修改spark-hive-thriftser

参考地址：https://blog.csdn.net/weixin_39992480/article/details/105152055最终zk的目录结构为clickhouse└── tables ├── 1 │ ├── log_test │ │ ├── metadata #log_test表的元数据信息 │ │ ├── temp #临时节点，存储过程中的临时数据 │ │ └── mutations #表的变更信

参考网址：https://blog.csdn.net/qq595662096/article/details/88077211Presto的安装非常的简单，集成的是hive，也就是利用hive的元数据信息来处理，直接上步骤（推荐看博客的同事一定要看看官网的信息，presto还在孵化的阶段，可能随着时间的推移改动比较大，所以强烈推荐看官网）1.下载presto：官网地址： https://prestodb.github.io/下载地址页面： https://prestodb.github.io/do

官方文档链接地址：https://interestinglab.github.io/waterdrop-docs/#/zh-cn/case_study/2Hive to ClickHouse假定我们的数据已经存储在Hive中，我们需要读取Hive表中的数据并筛选出我们关心的字段，或者对字段进行转换，最后将对应的字段写入ClickHouse的表中。Hive Schema我们在Hive中存储的数据表结构如下，存储的是很常见的Nginx日志hive的建表语句如下：CREATE TABLE `nginx

优点：为了高效的使用CPU，数据不仅仅按列存储，同时还按向量进行处理；数据压缩空间大，减少IO；处理单查询高吞吐量每台服务器每秒最多数十亿行；索引非B树结构，不需要满足最左原则；只要过滤条件在索引列中包含即可；即使在使用的数据不在索引中，由于各种并行处理机制ClickHouse全表扫描的速度也很快；写入速度非常快，50-200M/s，按照每行100Byte估算，大约相当于50W-200W条/s的写入速度。对于大量的数据更新非常适用。缺点：不支持事务；不支持高并发，官方建议qps为100，

通过在ZooKeeper中埋点来暴露数据，使用Prometheus监控抓取数据，并借助Prometheus Grafana大盘来展示数据，即可实现通过Prometheus监控ZooKeeper的目的。步骤一：启动JMX服务首先需要在ZooKeeper中启用JMX服务以获取资源信息。修改/opt/zk/zookeeper-3.4.10/bin/zkServer.sh，在第44行添加JMXPORT=8999。具体添加位置如下所示。if [ "x$JMXLOCALONLY" = "x" ]then

了解到，分布式DDL功能对Zookeeper的依赖情况还是比较轻量级的，接下来介绍的ReplicatedMergeTree表引擎对Zookeeper的依赖可以说是所有表操作全方面的依赖，真实集群中大量的ReplicatedMergeTree表会对Zookeeper造成非常大的请求压力，需要用户关注Zookeeper的运维。ReplicatedMergeTree表引擎实现的主备同步和传统主备同步有很大的差异：1）它不是一个（抢主，主节点执写入更新，备节点同步follow）的模型，ClickHouse的主节

QQ 音乐https://www.infoq.cn/article/3OfbQcStGJssh5CGl8VP原始地址：https://mp.weixin.qq.com/s/_pXPDbhqC1B1HQWQQEfAGw携程https://www.infoq.cn/article/Mv5QKf8BZdv4RVMhEa7o原始地址：https://mp.weixin.qq.com/s/IjOWAPOJXANRQqRAMWXmawhttps://www.infoq.cn/article/MHXgE5

-------------------------------------------------------------------------------------------------------------------Clickhouse基础知识：函数学习---------------官址学习文档：https://clickhouse.yandex/docs/zh/-------------------------------------------------------------

背景之前公司面临磁盘不足的问题，虽然通过增加磁盘来缓解了。但是clickhouse集群节点扩充是发展迟早要面临的问题，所以尝试思考解决方案。ck不同于hadoop体系，hdfs当集群增减节点时可以通过balance命令去自动调节。但ck集群不能自动感知集群拓扑变化，也不能自动 balance 数据。当集群数据量较大，复制表和分布式表过多时、想做到表维度、或者集群之间的数据平衡会导致运维成本很高。方案这里提供三个解决思路方式一、复制当我们追求分布式表在新集群的平衡，数据量不大的情况，可以在新集群简

本次基于docker来实现对clickhouse的指标的监控，需安装三个软件Granfaprometheusclickhouse-export准备docker环境和docker-compose编排1、首先安装Granfa# 获取镜像docker pull grafana/grafana# 后台启动容器，将23000映射到容器的3000docker run -d -p 23000:3000 --name=my-grafana -v /data/grafana:/var/lib/grafa

ClickHouse 中有没有一些能够 “安家立命” 的运维 SQL 语句。我想对于这个问题很多朋友都会有兴趣，所以就在这里做一个简单的分享。在 ClickHouse 默认的 system 数据库下(databse)，拥有众多的系统表。我们对 ClickHouse 运行状态的各种信息，就主要来自于这些系统表。接下来就列举一些常用的运维 SQL 语句。当前连接数众所周知，CH 对外暴露的原生接口分为 TCP 和 HTTP 两类，通过 system.metrics 即可查询当前的 TCP、HTTP 与

我们在这一课时将讲解 Flink 常见的部署模式：本地模式、Standalone 模式和 Flink On Yarn 模式，然后分别讲解三种模式的使用场景和部署中常见的问题，最后将讲解在生产环境中 Flink 集群的高可用配置。Flink 常见的部署模式环境准备在绝大多数情况下，我们的 Flink 都是运行在 Unix 环境中的，推荐在 Mac OS 或者 Linux 环境下运行 Flink。如果是集群模式，那么可以在自己电脑上安装虚拟机，保证有一个 master 节点和两个 slave 节点。同时

参考链接：https://www.jianshu.com/p/3f385e4e7f95

链接地址：https://blog.csdn.net/u010180815/article/details/105250864

参考网址：https://blog.csdn.net/weixin_34220179/article/details/91644177升级CH版本：1、首先卸载原版本yum list installed | grep clickhouseyum remove -y clickhouse-server-common如果要删除原始数据，执行下面命令：rm -rf /var/lib/clickhouserm -rf /etc/clickhouse-*rm -rf /var/log/clickho

参考地址https://blog.csdn.net/dong120f/article/details/813563611、创建好目标库 create database DB12、首先将要备份库中的数据进行拷贝拷贝源库中的数据 /Path/to/clickhouse/data/DB0/table1 到目标库路径：/Path/to/clickhouse/data/DB13、找到CH的metadata中源库中保存的建表sql（很多个文件）路径: Path/to/clickhouse/

链接地址：https://blog.csdn.net/u012111465/article/details/85250030

下载Docker：yum -y install docker启动命令：service docker start如果需要用到 docker-compose 安装步骤如下（)1、centos使用命令yum -y install python-pip安装pip2、yum -y install python-pip docker-compose查看安装的版本docker-compose --version　Docker-compose卸载pip uninstall docker-compose使