- 博客(9)
- 资源 (37)
- 收藏
- 关注
转载 Drill 大数据高级查询工具
简介 Apache Drill是一个低延迟的分布式海量数据(涵盖结构化、半结构化以及嵌套数据)交互式查询引擎,使用ANSI SQL兼容语法,支持本地文件、HDFS、HBase、MongoDB等后端存储,支持Parquet、JSON、CSV、TSV、PSV等数据格式。受Google的Dremel启发,Drill满足上千节点的PB级别数据的交互式商业智能分析场景。 安装 Drill可
2015-05-29 20:24:36
4042
原创 Cache 之自我实现磁盘缓存
磁盘缓存简述 书接http://blog.csdn.net/supingemail/article/details/46008661 ,接着说,其实呀,这个磁盘缓存,无非就是将存放到内存中的东东,存放到磁盘上去, 然后在内存中给个对应的映射关系,标明有哪些缓存对象。 实现思路 1. cache 地方是确定的,大小是需要管理的,移除机制需要设定的 ?
2015-05-26 16:18:24
721
原创 Cache 之自我实现内存缓存
自我实现cache简述 话说回来,缓存这个东东,其实真的是very nice 的东西,当然要你在使用得当,应用的很好的情况下,否则那就不妙了。 使用第三方的cache,也好也不好,好处就是拿着API , 做做配置 ,就直接可以使用了,性能什么的,自然有的描述;不好的地方是:什么都要遵守它的 要求,不能按照自己想要的来操作,其实也挺操蛋的。那么如何实现自己的cache呐 ?
2015-05-26 15:46:34
928
原创 ehcache 上层加工自己的cache
ehcache 在使用的时候,其实自己的实现已经很好了,它的内部实现有两种实现的方式:一种是内存的缓存方式,只存在内存,用完就删除了,只会和内存有关系:主要分为按 对应的elements的多少来存储,或者是指定内存大小来存储;第二种内存是存磁盘,就是写到硬盘上去,这种的好处就是不管你内存多大,都可以不用管,把内容写到磁盘上去,那么问题就来,我想先在内存存数据,然后内存不够的时候我想让写磁盘,那么
2015-05-25 00:04:17
802
原创 Java JVM 系列三:JVM参数设置、分析
今天在跑jar 文件的时候,发现跑的很慢,最后设置了下最小,最大堆内存,突然之间都起来了,所以把参数做个整理 不管是YGC还是Full GC,GC过程中都会对导致程序运行中中断,正确的选择不同的GC策略,调整JVM、GC的参数,可以极大的减少由于GC工作,而导致的程序运行中断方面的问题,进而适当的提高Java程序的工作效率。但是调整GC是以个极为复杂的过程,由于各个程序具备不同的特点,如
2015-05-21 14:39:48
631
原创 Impala 大数据测试
准备环境(安装好Impala在linux系统上,),测试数据和创建数据库 : 1.Generate Test Data. execute the follwing commands: a:mkdir test ; cd test b:wget http://elasticmapreduce.s3.amazonaws.com/samples/impala/dbgen-1.0-ja
2015-05-21 11:59:22
1023
原创 SoftReference, ReferenceQueue 自己控制内存
在做java程序的时候,内存监控,缓存设置,是提升性能的一个比较重要的环节,那么看看jdk本身自带的管理缓存,内存的主要设置。 定义如下两个变量,用来控制jvm中缓存的大小: 这做的特点就是:一旦达到了JVM的上限,就会把缓存在jvm的数据全部清掉,不会残留。 private static final ReferenceQueue queue = new ReferenceQu
2015-05-11 09:54:34
1131
原创 Java 缓存之Ehcache 的源码 write 方法了解
话说这个Ehcache在写element对象的时候,还是很讲究的,实现的是自己的一套字节方式去写的。这个的问题是:我怎么能按照我自己的方式去写呐 ? 个是个问题: 先看原本写的方式: protected DiskMarker write(Element element) throws IOException { MemoryEfficientByteArrayOutput
2015-05-08 19:15:23
1062
原创 Java 缓存之 Ehcache 配置详解
1.下载地址 下载地址: http://sourceforge.net/projects/ehcache/files/ 在线文档: http://tool.oschina.net/apidocs/apidoc?api=ehcache2.5.2 2.配置文件详解: xsi:noNamespaceSchemaLocation="ehcache
2015-05-07 12:22:40
3437
webservice demo
2013-05-31
NiFi学习实践.doc
2019-10-23
去https,环信注册
2015-08-11
tomcat+memcached session共享
2015-08-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人