iteye_18601-CSDN博客

原创 Yarn临时目录不足导致Hive任务失败

从一张已有的Hive Table中创建新表及Partition出现如下问题原有Hive Table中有160g数据(为三个月中所有应用和服务器的用户访问记录) 新表选取需要字段,并按照应用/服务器Ip/访问时间创建Partition //创建table set hive.exec.dynamic.partition=true; set hive.exec.dynamic.pa...

2015-03-16 12:19:15 1174

MongoDB调优的几个要点

前提不考虑shard(使用场景受限,运维成本比较高) mongo实例的库规模超过百g,单个collection 超过千万未达到这个规模的集群,性能不会太差,维护的手段可以选择使用,降低维护成本使用层面生产环境应默认开启journal log write reference 使用 JOURNAL_SAFE(更严格的模式依次为 1主机成功;2多数成功;3 fs.sync) ...

2015-01-05 13:36:59 199

原创 Hadoop关于大量小压缩文件的问题和解决方法

之前一段时间偶尔会收到 hadoop 集群的 nagios 监控报警,具体报警是几个 resource-manager 节点一直负载超过阀值.找了个空闲时间分析了一下 job-history,发现是一个小伙伴的 job在段时间内创建了大量 map-task 导致的,在解决问题后做个笔记备忘首先分析 job-history 的统计数据可以发现 map 任务执行的时间很短,但是...

2014-12-30 14:50:36 375

原创 JVM优化之压缩普通对象指针（CompressedOops）

通常64位JVM消耗的内存会比32位的大1.5倍，这是因为对象指针在64位架构下，长度会翻倍（更宽的寻址）。对于那些将要从32位平台移植到64位的应用来说，平白无辜多了1/2的内存占用，这是开发者不愿意看到的。幸运的是，从JDK 1.6 update14 开始，64 bit JVM正式支持了 -XX:+UseCompressedOops 这个可以压缩指针，起到节约内存占用的新参数。 ...

2011-08-01 14:03:44 454

根据不同的需要BlockingQueue有4种具体实现：（1）ArrayBlockingQueue：规定大小的BlockingQueue，其构造函数必须带一个int参数来指明其大小。其所含的对象是以FIFO（先入先出）顺序排序的。（2）LinkedBlockingQueue：大小不定的BlockingQueue，若其构造函数带一个规定大小的参数，生成的 BlockingQueue有大小限制，...

2011-06-30 10:47:48 936

原创 Java中的4种类型的引用

Java中一共有4种类型的引用:StrongReference、SoftReference、WeakReference以及 PhantomReference (幽灵引用)。 Strong Reference StrongReference 是 Java 的默认引用实现,它会尽可能长时间的存活于 JVM 内，当没有任何对象指向它时Java GC 执行后将会被回收 SoftRefe...

2011-06-21 11:04:40 111

原创 RAM是硬盘,硬盘是磁带

Jim Gray在过去40年中对技术发展有过巨大的贡献，“内存是新的硬盘，硬盘是新的磁带”是他的名言。“实时”Web应用不断涌现，达到海量规模的系统越来越多，这种后浪推前浪的发展模式对软硬件又有何影响？ Tim Bray早在网格计算成为热门话题之前，就讨论过以RAM和网络为中心的硬件结构的优势，可以用这种硬件建立比磁盘集群速度更快的RAM集群。引用对于数据的随机访问，内存的速度比...

2011-06-14 10:36:27 309

原创 I/O的五分钟法则

[size=large]在 1987 年，Jim Gray 与 Gianfranco Putzolu 发表了这个"五分钟法则"的观点，简而言之，如果一条记录频繁被访问，就应该放到内存里，否则的话就应该待在硬盘上按需要再访问。这个临界点就是五分钟。看上去像一条经验性的法则，实际上五分钟的评估标准是根据投入成本判断的，根据当时的硬件发展水准，在内存中保持 1KB 的数据成本相当于硬盘中存据 400 ...

2011-06-14 10:07:18 140

Jetty 6.1.21 编程绑定jndi数据源

[code="java"] public static void start() throws Exception { QueuedThreadPool boundedThreadPool = new QueuedThreadPool(); boundedThreadPool.setMaxThreads(200); server.setThreadPool(boundedTh...

2009-11-11 13:34:37 115

philip_kissme