- 博客(6)
- 收藏
- 关注
原创 竖表转横表的sql优化
还是接手同事的代码。之前没有想着要优化,但是自己测试的时候,发现10460的数据,三个属性打横,mysql引擎,居然耗时302.985s!!!!!这你能忍??果断开始优化。源表:目标表:原方案:CREATE TABLEIF NOT EXISTS student_cross1 ( id INT NOT NULL AUTO_INCREMENT, PRIMARY KEY (id)) AS SELECT `name`, class, ( SELECT..
2022-05-24 15:55:08
444
1
原创 Scala json转复杂对象(含数组)的工具类
友友之前接手同事的代码的时候,被一整溜儿的 JSONObject.get 给妥妥的震惊了。作为一个java面向对象开发的信徒外加强迫症,实在无法接受这种写法,于是,二话不说,给他改。scala是基于Java开发的,所以,理论上,java能实现的方法,scala也是可以实现的。但是对于列表元素是对象的json转化,java的那些方法似乎不是那么好使,以下是好使代码pom: <dependency> <groupId>com.f
2022-05-13 15:38:00
571
2
原创 Azkaban的executors与重启问题解决
文章是流水账,记录了处理问题的心路历程,不要嫌弃耐心观看呦,也可以直接划到结尾,看总结~事情经过:项目一直用azkaban来调度任务。前段时间,服务器异常终止,运维小哥哥教我直接调用sh start-exec.sh脚本启动,解决。这次,azkaban的一个任务一直preparing,于是就kill掉这个任务,然后发现一直kill不掉。我就去度娘,发现一直preparing可能是内存问题,或者executors问题。详见https://blog.csdn.net/qq_43771096/artic
2021-04-13 11:50:59
4115
3
原创 idea在循环过程中的debug小技巧
今天博主学到了一个新的小技巧,来自同事的分享,特此分享给大家。大家在循环需要debug的时候,只想要看某一符合条件的元素的debug过程,是不是还在手动的一个一个点,直到循环到符合元素。其实idea的debug是支持条件查看的。首先,写一个循环语句。public class Main { public static void main(String[] args){ ...
2019-10-29 20:30:46
11522
3
原创 在presto中使用hyperloglog计算uv(设定精确度)
HyperLogLog利用基数估计算法,通过概率,在不追求绝对精确的情况下,可以有效的在大数据场景中统计uv值,同时消耗更少内存,并且大大减少计算时间。对于HLL的算法详解,大部分博客都记录的很详细,随意贴上个链接就很够用——HyperLogLog算法详解presto中也兼容了对HLL的使用,下面将介绍一下,如果在presto中使用HLL计算uv1.建表。对于要计算uv的字段,需要用p...
2019-10-29 15:25:32
1589
2
原创 利用oss实现下载功能
目前我接触的实现下载功能有3种方式。第一种,就是把要下载的内容写到本地目录,然后把目录返回给前端,利用a标签下载。第二种,本地不允许访问,挂载目录,使目录可以对外访问,同样的,把目录返给前端下载。第三种,使用第三方存储,其中阿里云oss就是一种可以用来实现的对象存储。首先,导入依赖包<dependency> <groupId>com.aliyun....
2019-10-28 17:44:39
5669
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人