- 博客(65)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 为什么写入ReplicatedMergeTree引擎表里的数据少了？
clickhouse ReplicatedMergeTree引擎 数据丢失
2022-04-26 00:27:41
1598
2
翻译 ClickHouse聚合函数（上）：内部实现原理以及便捷小工具
对于分析型数据库而言，将数据汇总成容易理解的报表是其关键能力之一。人们在面对数十亿条网页访问记录的时候其实很难得出什么结论性的东西，但是比如我们说平均访问时长从上个月的25秒提升到了本月的32秒，这就很容易理解了。在ClickHouse中我们将这个过程称之为聚合（译者注：事实上，在其它数据库或数据分析软件中也是这么叫的）。这是从
2022-04-11 00:28:49
1220
原创 如何把VuePress制作的文档管理页面打包进现有的vue项目中？
VuePress是一个很好的静态网站制作工具，如果你希望将VuePress制作的静态页面和你的主应用一起打包，那么这里可以给你提供一些思路。
2022-02-20 23:58:44
3594
5
原创 不小心把clickhouse的数据文件删了，还可以恢复吗？
ReplicatedMergeTree引擎+zookeeper帮你自动恢复丢失的数据~~
2022-02-12 00:45:43
2262
2
原创 vscode查看外部依赖包的源码
在代码开发的过程中常常会引入第三方的jar包，有时候我们想看一下这部分代码是如何实现的，发现点进去以后只是一些方法定义，看不到具体的实现部分，那在vscode里面怎样才能实现这个小愿望呢？作为一款市占率这么高的编译器，当然是有办法的~~方法1: 通过设置settings.json来实现这种方法比较常见，也是网上搜索比较多的方法，简单总结就是：项目下新建lib目录，用来存放第三方的jar包新建source目录，用来存放下载的源码包编辑settings.json文件，将二者关联起来，大概内容如下：
2022-01-28 16:20:06
9408
原创 clickhouse之数据存储：JBOD vs RAID
JBOD vs RAIDClickhouse支持使用JBOD的方式配置多块磁盘为一个卷轴，达到扩展存储的目的，那么和我们常用的RAID相比有哪些区别呢？1. JBODRAID我们比较熟悉，JBOD是什么意思呢？其实看JBOD的英文全称就知道了，Just a Butch of Disks，其实它就是指一种存储架构，可以把一堆盘圈在一起提供服务。在写入JBOD卷组的过程中，其实还是按照轮询的方式挨个写入，写完一块儿盘写一块儿，顺序由配置JBOD时的顺序决定，至于数据粒度可以由应用程序指定，像Click
2022-01-25 13:14:50
2701
原创 【python】Import Error - No module named _md5
问题描述在某现网环境的python环境中执行import hashlib的时候提示：No module named _md5，具体错误如下图：解决办法检查后发现/usr/local/lib/python2.7/lib-dynload目录（此目录可能和你自身的安装目录有关，根据实际环境调整）下缺少_hashlib.so的动态链接库，而是在别的目录下有，于是将该文件copy了一份过来，再次执行，问题解决~~另外，也有人说是缺少_ssl.so文件，总之，就是lib-dynload目录下缺少一些动态链接库的
2022-01-20 13:23:39
1626
原创 glassfish禁用TLS1.0
问题描述现网项目使用glassfish作为web容器，在漏洞扫描的过程中发现了一个中危险漏洞，如图：简单来说，就是启用了https服务，但是同时支持了TLS1/2/3，其中TLS1.0协议版本较久，存在密码相关设计缺陷，提示需要禁用。glassfish版本：4.0解决办法glassfish自身提供了命令来修改配置，可以分别禁用TLS1.0/1.1：asadmin set configs.config.server-config.network-config.protocols.protoco
2022-01-14 09:34:41
2266
原创 HTTP协议发展简史小记
要说当今网络世界使用最广泛的应用协议，http绝对是最有利的竞争者，看看我们的周围吧，不管是在桌面WEB上搜索网页，还是各种移动端app里的浏览点击，都离不开http的身影。那么作为一名开发者，大部分程序员或多或少都需要与http打交道，如果你是一个前端，免不了要向后端发起http请求获取网页内容，如果你是一个后端研发，在REST API接口规范盛行的今天，你很难离得开编写http接口。但是我们大部分人真的了解http吗？至少对于我而言，虽然一直也在项目中使用，也看过各种关于http的书籍和文章，但似乎总是
2022-01-10 00:28:34
1358
原创 clickhouse浮点数保留固定小数位的方法
在进行SQL查询时，我们经常会遇到需要保留小数点后固定几位的需求，其他传统关系型数据库借助round函数很容易实现，那么clickhouse行不行呢？答案是当然可以。1. round函数顾名思义，四舍五入，使用方法：round(num,precision) ，举例：1.2357想要小数点 后保留2位，则使用round(1.2357,2)，结果为1.24。如下图：2. floor函数向下取整，不止可以取整哦，也可以指定精度来取小数后固定位数。 还是1.2357想要小数点 后保留2位，使用floor
2021-12-24 22:57:29
12390
原创 psycopg2安装遇到的问题
psycopg2是python用来连接数据库的第三方插件，往往需要单独安装，但是由于现网环境的复杂性（多个python版本共存，不定期的安全加固等等）导致在安装使用的过程中经常会出现一些莫名其妙的问题，这里把我遇到的一些问题及解决方法总结分享一下吧~~部署版本psycopg2: 2.6.1python: 2.71. undefined reference to lobjectType现象：解压源码，执行python setup.py install失败，提示：undefined refe
2021-12-23 11:29:42
2588
原创 Grafana制作clickhouse监控仪表盘（三）-柱状图的使用
在新版的grafana8.x里，和柱状图表现形式相关的图形类型包括：Time Series、Bar chart、Bar Gauge、以及Histogram（直方图），使用的时候不知道选哪个是好，笔者结合例子给大家总结一下吧~~1. Time Series适用场景：时间序列数据的柱状图，将会取代之前版本里的Graph类型绘制内容：zookeeper集群的收发速率统计难点：Y轴分正负，分别显示接收和发送速率制作方法效果图2. 各个分片数据量的分布...
2021-12-18 22:59:53
4925
原创 浅谈zookeeper在clickhouse中的使用
对于大多数分布式软件而言，数据的一致性问题是其必须要考虑的内容，zookeeper是最常见的也是使用最广泛的一个解决数据一致性问题的工具，clickhouse在其分布式方案的设计中也引入了zookeeper的使用，并强依赖于此。本文根据最近的一些项目经验，从原理和实践上来简单总结一下zookeeper在clickhouse中的使用吧~~1. zookeeper的用途zookeeper从存储的角度来看类似于一颗文件树，每个节点称之为znode，基本的工作原理类似于消息的发布订阅模式，客户端程序通过watc
2021-12-13 00:31:13
10384
6
原创 Grafana制作clickhouse监控仪表盘（二）-服务器监控表单
相关历史文章：（一）节点状态的监控虽然我们想要监控的是clickhouse服务，但是对clickhouse所部署服务器的监控同样重要，服务器本身的状态异常可能会直接导致clickhouse服务的异常。Prometheus官方提供的node-exporter插件可以采集丰富的服务器状态指标，本文示例中所使用的数据源也是来源于此。但我们现在要做的是先制作一张表单，可以呈现各个服务器主要的静态指标和部分动态指标，至于完整的服务器状态监控可以参看github上大神们的作品。1. 表单效果2. 指标介绍3.
2021-12-02 23:55:58
2139
1
原创 zookeeper常用指令
项目上有时候需要查看zookeeper的一些信息，可以通过向zk提供的2181端口发送指令的方式来获取，尤其是在没有web页面的环境下还是比较有用的，在此记录一下。conf查看Zookeeper服务器当前节点配置信息: echo conf|nc <zkServer的IP> 2181cons输出当前服务器所有客户端连接的详细信息：echo cons|nc <zkServer的IP>2181crst重置所有客户端连接统计信息: echo crst|nc <
2021-12-01 11:51:15
684
原创 Grafana制作clickhouse监控仪表盘（一）-节点状态的监控
由于项目需要监控clickhouse集群的状态，首先想到的便是需要监控各个分片的状态，有多少active的，有多少失联的，但是苦苦搜寻发现clickhouse本身并没有提供这样的监控指标，只能寄希望于一些外部程序，其实自己写一个脚本去实现也是可以的，但是意外发现了Prometheus官方开源的blackbox-exporter程序，一番验证之后决定采用该方法，这样可以与我们其他监控指标使用的Prometheus + Grafana的方案保持一致。1. blackbox-exporter简介如同常用的no
2021-11-21 23:42:27
1564
原创 clickhouse之数据写入问题
文章目录1. 写入方法方法一：文件导入方法二：插入语句方法三：JDBC接口2. 性能瓶颈3. 其它注意事项4. 总结众所周知，在精心设计的索引（见前文：clickhouse之索引）以及极致压制硬件物理性能(见前文clickhouse之向量执行引擎)的作用下，clickhouse单机表现出卓越的查询和计算性能。但是有些使用场景，对数据库的写性能要求同样很高，那么clickhouse在写数据上的表现究竟如何呢？因为最近我们的小伙伴因为项目需要有做过一些测试，我简单总结一下吧~~1. 写入方法方法一：文件导
2021-11-14 22:35:47
6496
原创 clickhouse之主键不具有唯一性约束的问题
和之前的传统关系型数据库不同，clickhouse的主键不具有唯一性约束，那如果有一些需要数据去重的场景我们该咋办呢？别急，我们通过问答的方式来了解一下吧~~Q:为什么clickhouse在设计的时候主键不具有唯一性约束呢？A: 坦白讲，我也不清楚，因为我没看到过对此有官方的说明，我的理解是因为clickhouse采用的是稀疏索引，如果在插入的时候还要进行唯一性检查，将会额外的耗费一些时间，不像使用稠密索引的方式能够更快定位到重复，毕竟clickhouse的设计理念是为了一个“快”字，而且使用的场景更多
2021-11-11 00:48:22
5457
原创 源码阅读系列-ConcurrentHashMap
注释注释是代码作者最想留给读者的话，我们真的应该好好读一读。从线程安全的角度来讲，ConcurrentHashMap与Hashtable是可以互用的，但是从同步机制上二者是有一些区别的。ConcurrentHashMap并不对并发读取操作上锁，读写操作有可能会同时进行。一些方法诸如size/isEmpty/containsValue反映的是某一个临时状态，因此如果有另外的线程在并发写的时候是不太适合使用的。...
2021-11-09 00:24:40
240
原创 clickhouse之常用函数整理（官网）--持续更新
根据clickhouse官网资料进行整理、汇总，方便日常查询使用。1. 算术类型函数说明参数返回值plus(a, b)加法运算a,b可以是数值类型，也可以一个是数值类型，另一个是日期类型如果a,b均为数值类型，则返回数值；如果a为日期类型，则a+b表示在日期a之后添加b天；如果a为时间类型，则a+b表示在时间a之后添加b秒minus(a, b)计算差值a,b可以是数值类型，也可以一个是数值类型，另一个是日期类型同plus函数multiply(a, b).
2021-10-31 23:38:10
777
原创 提升ansible效率的几个方法
随着管理节点的逐渐增多，ansible的执行效率会越来越慢，通过如下方法可以显著提升ansible的执行效率，亲测有用1. 关闭获取被控主机信息：在playbook中关闭即可，在大量的主机下，其效果明显hosts: allgather_facts: no2.在不使用sudo的情况下开启pipeling，减少ansible没有传输时的连接数修改ansible.cfg中pipelining=False改为True3.controlpresist 持久化socket，一次验证，多次通信,被.
2021-10-24 00:04:36
468
原创 ansible问题记录--Timeout (12s) waiting for privilege escalation prompt
问题描述在项目中使用ansible做批量操作，但是环境限制只能用非root用户访问，然后才能切root权限。配置好hostfile之后，使用报错：10.219.19.116 | FAILED! => { "failed": true, "msg": "Timeout (122s) waiting for privilege escalation prompt: "}ansible版本：2.3.0问题原因使用非root用户登录，然后用su方法切换，就会抛出这个问题， 属于
2021-10-22 10:47:08
5466
3
原创 linux测试磁盘读写能力
在平时的工作中，经常需要评估一些服务器的资源，磁盘IO是其中一个容易出现瓶颈的地方，那么我们通常需要预先知道该服务器上的磁盘IO能达到多少。在这里记录一下经常用到的一个用来测试磁盘读写能力的命令。1. dd命令dd 命令从标准输入或文件中读取数据，根据指定的格式来转换数据，再输出到文件、设备或标准输出。主要参数说明：if 指定读取的文件路径of 指定输出的文件路径bs 传输的每个数据块的大小count 传输的数据块的数量oflag/iflag=direct 表示测试时不使用cache，而是
2021-10-17 01:08:13
9411
原创 面试算法-二叉树中找到两个节点的最近公共祖先（JAVA实现）
题干给定一棵二叉树(保证非空)以及这棵树上的两个节点对应的val值 o1 和 o2，请找到 o1 和 o2 的最近公共祖先节点。数据范围：1≤n≤1000，树上每个节点的val满足 0<val≤100要求：空间复杂度 O(1)，时间复杂度 O(n)注：本题保证二叉树中每个节点的val值均不相同。解题思路一般情况下，对于二叉树的算法题大多可以通过递归的方法来解决。那这道题目如何来递归呢？利用子问题的解来求得最终解。根节点判断最近公共祖先的三种情况：最近公共祖先的解在左子树上最近公共祖先
2021-10-11 23:51:52
551
clickhouse-jdbc-bridge-2.0.2-SNAPSHOT.jar
2021-08-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人