基于clickhouse的2000亿数据优化 结果表明,在一台机器上处理2亿左右的数据量,表B in 三四十万的数据只需要大约2秒的时间,偶尔可能会达到10秒左右,但总体上比报错要好得多。思路一:先查询出表A中符合条件的主键数据,将其拼接成一个列表,然后使用表B进行in操作,查出符合条件的结果集。这时尝试使用子查询的方式进行查询,例如:select * from B where id in (select bid from A where id = ‘xx’),但仍然遇到卡顿和超时的问题。然而,性能仍然很慢。
Influxdb常用 group by 的是tag,select的是field值。通过api查询influxdb中数据。influx (进入db)远程登录influxdb服务。创建表 tag并且插入数据。influx数据库操作。
K8S常用指令 kubectl get deployment my-dep # 列出指定 deployment$ kubectl get pods --include-uninitialized # 列出该 namespace 中的所有 pod 包括未初始化的。$ kubectl get pods --all-namespaces # 列出所有 namespace 中的所有 pod。
Clickhouse海量数据主键设计技巧 假设我们的查询参数为device,以及时间范围,这个时候我们设计主键则为如下方式device_2023-07-01。海量数据查询使用的场景,可能存在跨年的查询,这样会导致一个问题就是数据量过大,无法跨海量数据的搜索。在涉及分区和索引列的时候需要注意了。
在Mac上安装使用Charles 在安装使用Charles之前,本人使用Fiddler everywhere作为抓包工具,Fiddler是香,里面集成很多Postman的功能,可以很方便的整理接口,但是架不住破解麻烦,涉及到ddl文件反编译操作,浅显的查了部分资料,对于本人来说发现向下挖的成本太高了。所以只能重新找个方向,Charles虽不及Fiddler功能齐全,但是也能实现我们想要的效果。
MySQL常见问题 2、给某个字段默认值操作3、查询某库(db_01)的表(tb_01)结构说明:如果where条件中不带上table_name,默认会查询出所有表中的数据,这样可能就分不清到底哪些字段是哪张表中的了。4、GRUOP_CONCAT函数说明:根据code分组按照创建时间排序,id组成逗号相隔的字符串5、自定义自增序号列rank6、触发行锁的条件7、将字符串类型转化成int类型8、本地安装MySQL出现问题9、设置MySQL密码10、解决出现的sql_mode错误...
Nginx设置跨域配置 Nginx设置跨域配置add_header Access-Control-Allow-Origin * always;add_header Access-Control-Allow-Methods * always;add_header Access-Control-Allow-Headers * always;add_header Access-Control-Allow-Credentials 'true' always;
influxdb实现tag,field数据迁移 前述网上关于influxdb数据库中tag和field迁移的文章比较少,虽然有,但是大部分都是有问题的,比如下面两种方式1、select tag1,tag2,field1,field2,field3 into target from origin2、select * into target from origin这两种sql并没有将tag和field 区分开,而是将tag作为filed导入进target表(measurement)中。方案根据官方文档显示:Relocate data
SpringCloud Gateway动态路由实现熔断规则 SpringCloud Gateway动态路由实现熔断规则背景方案背景当大量请求进入网关时发现有很多服务拥挤,异常的报错。检查后发现网关实现了动态路由,但是yaml中的限流配置并不对动态路由服务生效,配置如下:hystrix: command: defalut: execution: isolation: strategy: THREAD thread: timeoutInMillisecond
实现rabbitmq延时队列功能 一个交换机对应N个routingkey和queue,要想某个direct交换机实现延迟功能,则需要给已存在的routingkey绑定另一个延迟routingkey,这个可在rabbitmq的控制台中直接配置绑定,绑定的Queue可无视。控制台中配置绑定的routingkey如下:消费监听器的代码如下:/** * 绑定唯一的队列,路由和交换机 * @param application */ @RabbitListener(bindings = @QueueBin