- 博客(454)
- 收藏
- 关注
RSS订阅转载 替换项目中的包名
项目已经做完了,但是包名前缀不符合公司规范.项目中所有的类似package com.sqi.opb.admin 的包名，引用都要从 com.sqi 替换为 com.bj...
2019-03-20 15:59:39
363
转载 画像预先计算的一点设想.时间段分片
画像优化告一段落。ES在分群阶段的效果非常好.但是在增量指标计算时 ES显得非常吃力。什么是增量指标计算呢？比如用户的点击次数,消费情况,这个原来在一个Hive...
2018-11-16 15:57:41
267
转载 Linux 命令 管道 缓冲区
这是王工的一个问题.MySQL监控指标.使用 mysqladmin 每秒间隔获取信息, 将信息格式化后输出文件.获取信息和格式化的命令...
2018-11-08 17:22:12
519
转载 Shell 解决Redis Slow Log去重问题
老东家监测Redis的慢查询日志，采用Crontab 每隔一段时间对慢查询日志采样,然后追加写入一个文本文件。所以文本文件中有很多重复的慢查询日志...
2018-11-02 12:04:56
164
转载 数据权限验证MyBatis版
之前数据权限的一个设想http://blog.itpub.net/29254281/viewspace-2212990/ 存在几个问题...
2018-09-11 10:30:21
368
转载 数据权限技术验证
数据权限技术验证.数据权限本质就是根据用户的信息,固定的拼接一些SQL基于阿里开源的Druid的SQL Parse模块 ，做了一些动态拼接SQL的技术验证....
2018-08-28 11:23:45
564
转载 MySQL位图索引解决用户画像问题(简化创建流程)
基于前文,创建索引的时候有一个问题每个bigint类型包括60个记录的位信息.但是第0位表示第六十个记录的位第1位至第59位表示第一至五十九的记录的位信息....
2018-08-09 20:54:31
824
转载 MySQL位图索引解决用户画像问题
在58遇到的第一个有意思的问题.用户画像的原始表,有一亿记录,100多个维度（100多个列），比如年龄,性别,爱好,是否有车,是否有房什么的.测试环境800w数据,...
2018-08-05 20:30:38
359
转载 MySQL自定义变量实现row_number分析函数的天坑
MySQL经常用自定义变量实现复杂查询，比如row_number按组加行号的功能等.但是这里面存在一个天坑.不可谓不深...
2018-07-18 16:41:36
495
转载 MySQL百分位数计算(第三次优化)
第一版:http://blog.itpub.net/29254281/viewspace-2157111/第二版:http://blog.itpub.net/29254281/viewspace-2157209/...
2018-07-04 12:03:14
537
转载 MySQL百分位数计算(再优化版)
前文的问题第一版:http://blog.itpub.net/29254281/viewspace-2157111/第二版:http://blog.itpub.net/29254281/viewspace...
2018-07-04 11:42:04
1249
转载 MySQL百分位数计算(优化版)
接前文http://blog.itpub.net/29254281/viewspace-2157111/这是上文的优化版本创建试验数据,5天每天一百万随机数据,总共500w数据create tab...
2018-07-02 16:21:40
268
转载 查询前90%的数据值
先创建实验数据create table t(query_time date, ts float); INSERT INTO `t` (`query_time`,`ts`) VALUES ...
2018-06-30 03:02:41
339
转载 使用AWK规整KyLin日志改进
在前文的基础上，增加了改进。主要是细节格式的调整.处理100M数据用时7shttp://blog.itpub.net/29254281/viewspace-2156713/time awk '...
2018-06-27 18:43:15
111
转载 使用AWK规整KyLin日志
我们需要解析Kylin的日志,获取查询的相关信息.但是Kylin的日志是并发写的,也就是并发情况下,查询日志会有交叉。另外,Kylin汇总的行需要提取出来最后,涉及SQL的行，需要把多行合并为一行。KyLin...
2018-06-27 11:07:43
302
转载 MySQL 用随机数据填充外键表
参考:http://blog.itpub.net/29254281/viewspace-1686302/准备环境1.创建数字辅助表create table nums(id int not null prima...
2018-06-21 20:36:06
156
转载 Session重叠问题学习(九)--该问题第七次优化.优化合并算法
接前文Session重叠问题学习(二)，这是问题和需求的描述，执行时间90秒http://blog.itpub.net/29254281/viewspace-2150229/Session重叠问题学习(三)--优...
2018-01-24 12:45:59
90
转载 Session重叠问题学习(八)--该问题第六次优化和Oracle版本
已经说好不玩了.还是不能罢手.之前极致优化的方法,是先计算最小区间,再计算最小区间上的用户数量.其实可以一边计算最小区间,同时计算最小区间上的用户数量. DELIMITER$$ ...
2018-01-23 19:22:02
118
转载 Session重叠问题学习(七)--小花狸合并算法和最后一次优化
接前文Session重叠问题学习(二)，这是问题和需求的描述，执行时间90秒http://blog.itpub.net/29254281/viewspace-2150229/Session重叠问题学习(三)--优...
2018-01-22 17:00:35
106
转载 Session重叠问题学习(六)--极致优化
接前文Session重叠问题学习(二)，这是问题和需求的描述，执行时间90秒http://blog.itpub.net/29254281/viewspace-2150229/Session重叠问题学习(三)--优...
2018-01-21 17:08:45
118
转载 Session重叠问题学习(五)--最优化
周五晚上10点了.这一周连续优化Session合并和拆分问题.每天都比前一天提升性能一倍以上.终于在今天,用独创的小花狸Session合并算法达到了最优级别.令人振奋的1.5秒到2秒级别.时间已经很晚了,...
2018-01-19 22:03:48
103
转载 Session重叠问题学习(四)--再优化
接前文:需求描述和第一版解决方案(执行时间90秒)http://blog.itpub.net/29254281/viewspace-2150229/优化和修改bug的版本(执行时间25秒)http://blo...
2018-01-18 14:46:47
80
转载 Session重叠问题学习(三)--优化
接前文http://blog.itpub.net/29254281/viewspace-2150229/前文中的算法想了一天半,终于在昨天晚上得出了正确的结果.在我的环境中，耗时90s ，还有进一步优化的空间....
2018-01-17 18:17:40
76
转载 Session重叠问题学习(二)
u_room_log.zip附件是实验的初始化表.另外需要先创建数字辅助表 createtablenums(idintnotnullprimarykey); ...
2018-01-17 13:05:05
92
转载 四则运算表达式求值
四则运算表达式求值两个要点1.中缀表达式转后缀表达式2.后缀表达式求值中缀表达式转后缀表达式从左到右遍历中缀表达式的每个数字和符号.若是数字就输出,成为后缀表达式的一部分.若是符号则判断其与栈顶符...
2018-01-03 19:29:01
148
转载 两列任意匹配一列
水友居士的一个需求.听他广东的普通话真是费劲.不过还是大概听明白了。实验准备Oracle先创建Oracle的数字辅助表 createtablenums( ...
2017-12-29 14:52:01
153
转载 每隔N行生成一个汇总行(总结)
接前文http://blog.itpub.net/29254281/viewspace-2149120/http://blog.itpub.net/29254281/viewspace-2149309/处理这种每...
2017-12-26 19:26:29
143
转载 留存率计算
应水友要求帮忙写的SQL留存率: 某一个时段内,使用过该产品的用户,在未来时间段还使用的比率。原来搞过一个hive的http://blog.itpub.net/29254281/viewspace-...
2017-12-26 18:29:10
189
转载 每隔15行生成一个汇总行(王工优化版)
http://blog.itpub.net/29254281/viewspace-2149120/接前文前文有一块写多余了纠正如下王工优化的版本如下，确实是效率又高,可读性又好,整体还更精炼....
2017-12-26 14:44:46
73
转载 每隔15行生成一个汇总行
用户抽奖模块award_gift_record 是用户抽奖记录表.其中actiontime 是抽奖时间.AwardGiftID表示中奖的礼物ID. -1表示没有中奖awardactId 表示活动ID需求:...
2017-12-22 19:24:14
121
转载 计算本年用户最大未登录时间段
计算本年用户最大未登录时间段space_user_task_statistics_log 如果用户登录过,则将信息记入该表主要信息有用户ID和登录时间space_user 记录用户基本信息....
2017-12-14 11:13:20
91
转载 查询前50%的数据
实验环境: createtablet(cint);insertintotvalues(15),(7),(9),(10),(7),(8),(20),(16),(9),(19),(14),(10)...
2017-11-15 18:39:03
1034
转载 禁用Crontab发送邮件和使用inode删除文件
某一台数据库服务器,有大量的Crontab调度.每次运行完成之后,都会发送邮件.久而久之,就怕大量邮件占用inode，导致inode耗尽。查看邮件目录/var/spool/postfix/maildrop...
2017-10-25 11:29:20
235
转载 Excel实现动态行转列(数据透视表)
固定行转列比较容易实现.但是动态行转列的需求,用SQL都难以实现,要不然就是超级复杂。不过很多第三方工具都已经提供了很好的支持,不一定非得用SQL实现.比如帆软报表和Excel。最近接到一个比较复杂的查询,并且要...
2017-10-24 09:56:19
1185
转载 MySQL查询数据库中没有主键的表
select table_schema,table_name from information_schema.tables where (table_schema,tab...
2017-10-18 10:00:42
360
转载 用数字辅助表补录数据一则
结构： create table user_baseinfo( userid bigint not null primary key , ...
2017-09-26 15:47:00
124
转载 分析索引是否有效
索引的选择性低,效果就多少有些折扣索引是否有效,是否应该创建,需要具体情况具体分析.大表的低CARDINALITY值索引,需要引起注意.下面是 低选择性索引的查询 selectt2.*,t1.t...
2017-09-19 15:27:44
94
转载 动态固定行转列
需求要看最近7天新增评论数,而且每天都要查一次SQL不复杂 SELECT to_char(createtime,'yyyy-mm-dd') createtime,count(*) c ...
2017-08-31 18:44:35
98
转载 给定数字生成中文数字(MySQL)
接前文http://blog.itpub.net/29254281/viewspace-2143103/用MySQL实现 CREATETABLE`nums`( `i...
2017-08-07 13:54:31
184
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人