Levin的技术工厂

最近刚换了新公司,想去优化一下之前的代码,提高一下任务执行效率,review了一下之前的代码,可以优化的地方挺多的,公司有一个查询db的sdk,被之前的同事用druid datasource 封装了一下, 看了一下sdk的实现,本身是有pooling的支持的,那么我就大刀阔斧的进行了代码的重构,本着有现成的就不过多的扩展(之前的代码实现的也不是太好,fork了堆无用的类,只为了封装druid)。经过一顿修改之后打包测试,简单的sql可以,但是如果多线程并发下,会出现程序卡死的情况,执行了一下jstack

昨天去某东面试,面试阶段感觉还可以,但是到了笔试有几个关于海量数据的问题把我难住了.上网找了些相关的笔试题,有时间看看。海量数据面试题整理   　　1. 给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？　　方案1：可以估计每个文件安的大小为50G×64=320G，远远大于内存限制的4G。所以不可能将其完全加载到内

用hadoop也一年多了,只是知道一些MR以及基础Hadoop命令的使用,今天突发奇想如果我在原有集群的基础上添加了设备,对整个集群有什么性能上的提升,怎么评估？ 针对这个问题我上网上搜了一下,发现hadoop在发布的时候本身就包含了一个基准测试的工具包用来进行集群的测试,下面简单说一下基准测试相关的使用方法.首先说一下基准测试的包的位置以及hadoop的版本,因为我在网上看到有发的帖子说明的路

最近产品中有一个Druid的查询大概5s左右的响应,需要优化一下,这篇博文主要记录的就是这次优化的思路和具体方案背景表的格式为parquet，数据行数1400w+(由于我们的数据都是离线抽取的,已经做好聚合了),timestamp(所有数据都一样)segmentGranularity.period:P1D分析步骤其实就以我们本身的数据条数,应该不会造成这样的慢查询的,而且其他组的数据量也...