- 博客(27)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 基于clickhouse的2000亿数据优化
结果表明，在一台机器上处理2亿左右的数据量，表B in 三四十万的数据只需要大约2秒的时间，偶尔可能会达到10秒左右，但总体上比报错要好得多。思路一：先查询出表A中符合条件的主键数据，将其拼接成一个列表，然后使用表B进行in操作，查出符合条件的结果集。这时尝试使用子查询的方式进行查询，例如：select * from B where id in (select bid from A where id = ‘xx’)，但仍然遇到卡顿和超时的问题。然而，性能仍然很慢。
2023-09-21 15:42:06
270
原创 Influxdb常用
group by 的是tag，select的是field值。通过api查询influxdb中数据。influx （进入db）远程登录influxdb服务。创建表 tag并且插入数据。influx数据库操作。
2023-08-18 12:18:15
106
原创 K8S常用指令
kubectl get deployment my-dep # 列出指定 deployment$ kubectl get pods --include-uninitialized # 列出该 namespace 中的所有 pod 包括未初始化的。$ kubectl get pods --all-namespaces # 列出所有 namespace 中的所有 pod。
2023-08-18 12:00:37
42
原创 Clickhouse海量数据主键设计技巧
假设我们的查询参数为device，以及时间范围，这个时候我们设计主键则为如下方式device_2023-07-01。海量数据查询使用的场景，可能存在跨年的查询，这样会导致一个问题就是数据量过大，无法跨海量数据的搜索。在涉及分区和索引列的时候需要注意了。
2023-08-18 11:55:19
186
原创 在Mac上安装使用Charles
在安装使用Charles之前，本人使用Fiddler everywhere作为抓包工具，Fiddler是香，里面集成很多Postman的功能，可以很方便的整理接口，但是架不住破解麻烦，涉及到ddl文件反编译操作，浅显的查了部分资料，对于本人来说发现向下挖的成本太高了。所以只能重新找个方向，Charles虽不及Fiddler功能齐全，但是也能实现我们想要的效果。
2022-08-20 13:45:26
3195
2
原创 MySQL常见问题
2、给某个字段默认值操作3、查询某库（db_01）的表(tb_01)结构说明：如果where条件中不带上table_name,默认会查询出所有表中的数据，这样可能就分不清到底哪些字段是哪张表中的了。4、GRUOP_CONCAT函数说明：根据code分组按照创建时间排序，id组成逗号相隔的字符串5、自定义自增序号列rank6、触发行锁的条件7、将字符串类型转化成int类型8、本地安装MySQL出现问题9、设置MySQL密码10、解决出现的sql_mode错误...
2022-08-17 12:22:26
417
原创 Nginx设置跨域配置
Nginx设置跨域配置add_header Access-Control-Allow-Origin * always;add_header Access-Control-Allow-Methods * always;add_header Access-Control-Allow-Headers * always;add_header Access-Control-Allow-Credentials 'true' always;
2021-11-18 10:14:43
2217
原创 influxdb实现tag,field数据迁移
前述网上关于influxdb数据库中tag和field迁移的文章比较少，虽然有，但是大部分都是有问题的，比如下面两种方式1、select tag1,tag2,field1,field2,field3 into target from origin2、select * into target from origin这两种sql并没有将tag和field 区分开，而是将tag作为filed导入进target表（measurement）中。方案根据官方文档显示：Relocate data
2021-10-25 13:37:37
1850
原创 SpringCloud Gateway动态路由实现熔断规则
SpringCloud Gateway动态路由实现熔断规则背景方案背景当大量请求进入网关时发现有很多服务拥挤，异常的报错。检查后发现网关实现了动态路由，但是yaml中的限流配置并不对动态路由服务生效，配置如下：hystrix: command: defalut: execution: isolation: strategy: THREAD thread: timeoutInMillisecond
2021-10-19 18:39:50
643
1
原创 实现rabbitmq延时队列功能
一个交换机对应N个routingkey和queue，要想某个direct交换机实现延迟功能，则需要给已存在的routingkey绑定另一个延迟routingkey，这个可在rabbitmq的控制台中直接配置绑定，绑定的Queue可无视。控制台中配置绑定的routingkey如下：消费监听器的代码如下：/** * 绑定唯一的队列，路由和交换机 * @param application */ @RabbitListener(bindings = @QueueBin
2020-07-07 18:05:29
162
原创 JPA save方法及联更新的BUG
Jpa在save对象的时候，及联更新的当前对象外键关联的子对象，很奇怪，insertable和updatable的配置未生效，如下：@ManyToOne(fetch = FetchType.LAZY)@JoinColumn(name = "business_id", referencedColumnName = "serial_no", insertable = false, updatable = false)@NotFound(action = NotFoundAction.IGNORE)..
2020-06-05 20:58:05
1170
原创 JQuery过滤器笔记
$.ajaxSetup({ cache: false, headers: { 'Access-Control-Expose-Headers': 'SessionStatus', 'Access-Token': sessionStorage.getItem('token') }, statusCode: { 401: function () { window.location.href = "/manag.
2020-06-04 09:25:37
98
原创 Springboot多个Filter导致数据丢失
在Springboot项目中的Filter出现参数莫名其妙丢失的情况，本地无误，发到测试环境，间歇性出现参数丢失的情况。经排查得知是另一个filter的过滤辉导致参数被覆盖。
2020-06-02 12:24:20
1103
1
原创 Oracle整理笔记
初入工作，接触的数据相关的工作比较多，其中oracle解除的最多，在这里整理下工作中遇到的一些知识点：找出temp_yangbo_c中所有的数据，然后以列名为operator_id的列从大到小的顺序排列，并且新增名为NN的一列，NN列下显示名次。查询第一名或者最后一名就是如下的方法SELECT * FROM(select A.*,row_number()over (partition by...
2019-08-26 20:28:35
121
原创 关于上传头像BUG引起的思考
头像上传BUG用户提交新头像待审核，运营在后台中存在审核头像，审核通过之后的头像不展示的问题。经过排查得知是后台服务器上挂载到GFS的路径并不是映射的头像管理系统的文件服务器，升级了新的GFS，由于服务器迁移过导致GFS还是老的服务器并且还没关，但是早不用了，运维表示有点晕。代码逻辑简单说下代码逻辑。用户通过客户端上传头像图片，保存到文件系统，文件系统挂载到服务器的路径为/a/b/c，每个用...
2019-03-04 20:12:31
416
原创 git命令笔记常用
整理下工作中常用的git命令git status 当前分支状态git log 提交日志git pull 拉取代码git push 提交代码git checkout branch_1 切换到分支branch_1git checkout -b branch_2 在当前分支的基础上新建一个branch_2分支git commit -m “xxxxx” 提交本地代码并备注xxxxgit r...
2019-01-21 14:29:15
114
原创 Filter中的request中请求参数修改，实现参数直接映射
Struts2首先要知道Struts2 参数映射对应的是request.getPrameterMap中的键值，所以过滤器中修改过滤这块这实现参数修改。Map parameterMap = request.getParameterMap();Method method = parameterMap.getClass().getMethod(“setLocked”, new Class[]{b...
2019-01-18 11:09:58
2883
原创 关于Mysql百万级数据的快速检索
项目中集成消息队列欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Mar...
2019-01-18 10:24:45
1683
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人