数据
lzc828
这个作者很懒,什么都没留下…
展开
-
sm3(国密签名算法3)的php实现
php实现的国密sm3签名,支持php5.6以上的版本源码地址https://github.com/lizhichao/sm安装composer require lizhichao/one-sm使用<?phprequire __DIR__ . '/vendor/autoload.php';// 字符串签名echo \OneSm\Sm3::sign('abc') . PHP_EOL;echo \OneSm\Sm3::sign(str_repeat("adfas哈哈哈", 100)原创 2021-01-28 09:53:17 · 3833 阅读 · 1 评论 -
怎样将大量的日志实时写入clickhouse,用于日志分析
以前用的阿里云的日志服务,又慢又贵还不灵活。想到clickhouse的性能非常强,我们又没有什么全文搜索的场景。于是计划将日志写入clickhouse ,用grafana可视化,看grafana已经指出重clickhouse数据源。选用的方案是通过clickhouse tcp客户端流试写入。这样也不用担心文件碎片问题,性能也非常好(每秒轻松可以写入几十万) 占用资源比常规的日志收集器( Logstash,Fluentd,Logtail) 更少。可以轻松收集各种数据源的数据 ,各种格式。写了一个库 htt原创 2020-11-20 13:08:57 · 6984 阅读 · 7 评论 -
clickhouse insert的数据结构
clickhouse insert大致分为两部分1. sql语句部分 insert into table (f1,f2)2. 数据部分 数据部分又分为3部分(头,数据,尾)-. 数据头-. 数据块1-. 数据块2-. 数据块N-. 数据尾从中可以看出 每个insert可以包含多个数据块,没个数据块可以包含多行。一个完整的insert执行后,clickhouse会生成一个临时文件夹,里面包含了当前的数据,clickhouse会定时把这些文件合并。建了一个clickhouseQQ欢迎加入原创 2020-10-30 14:28:35 · 860 阅读 · 0 评论 -
clickhouse 如何快速写入数据
clickhouse 是一个查询非常快的数据库,但是写入需要注意不要高频低量写入 这样非常慢 还可能会引发 too parts many ……………… 之内错误。在实际应用中需要把数据先攒起来,到了一定的量了才写入。不过这样稍微麻烦些,有么有实时任意量写入的办法,又不引发 too parts many错误呢?有的 , 不过只能使用tcp客户端,流试写入 这种写入速度非常快,本人在云服务器上测试1000w 基本12s左右能就能写完。可以参考 one-ck...原创 2020-09-27 17:06:41 · 9773 阅读 · 11 评论 -
写了一个 clickhouse php tcp客户端
最近把clickhouse数据库添加到 one框架 的模型,发现没有tcp的客户端于是就写了一个仓库地址https://github.com/lizhichao/one-ck安装composer require lizhichao/one-ck支持类型 UInt8, UInt16, UInt32, UInt64, Int8, Int16, Int32, Int64 Float32, Float64 Decimal(P, S), Decimal32(S), Decimal64(S),.原创 2020-09-10 17:46:27 · 893 阅读 · 0 评论