2018年04月_wisgood

11月 08月 06月 05月 04月 03月 01月

原创如何查看jvm中的各种参数以及默认值

1 标准参数标准参数（-），所有的JVM实现都必须实现这些参数的功能，而且向后兼容；通过命令 java即可查看如下where options include: -d32 use a 32-bit data model if available -d64 use a 64-bit data model if available...

2018-04-28 10:36:51 22904

原创不同gc垃圾回收器组合及日志样例

不同的jvm参数所使用的老年代、年轻代组合如下图。参数新生代老年代 -XX:+UseSerialGC Serial(DefNew) Serial Old -XX:+UseParNewGC ParNew Serial Old -XX:+UseConcMarkSweepGC ParNew CMS + Serial Old...

2018-04-27 13:30:03 962

原创 Spark SQL中Join常用的几种实现

1、引言Join是SQL语句中的常用操作，良好的表结构能够将数据分散在不同的表中，使其符合某种范式，减少表冗余、更新容错等。而建立表和表之间关系的最佳方式就是Join操作。SparkSQL作为大数据领域的SQL实现，自然也对Join操作做了不少优化，今天主要看一下在SparkSQL中对于Join，常见的3种实现。2 、Spark SQL中Join常用的实现2.1 、Broa...

2018-04-27 13:13:47 2606 3

转载 Understanding Hive joins in explain plan output

Hive is trying to embrace CBO(cost based optimizer) in latest versions, and Join is one major part of it. Understanding join best practices and use cases is one key factor of Hive performance tunning....

2018-04-24 18:52:27 369

原创 hive中 bucket mapjoin 与 SMB join(Sort-Merge-Bucket)区别

1 bucket mapjoin1.1 条件1） set hive.optimize.bucketmapjoin = true; 2）一个表的bucket数是另一个表bucket数的整数倍 3） bucket列 == join列 4）必须是应用在map join的场景中1.2 注意1）如果表不是bucket的，只是做普通join。2 SMB join （...

2018-04-24 18:50:23 5972

原创 Hive中mapjoin优化例子

1 基本信息3个表，1个事实表，2个维度表事实表 test_fact （mid string,sex_id string,age_id string ）维度表dim_user_demography_age （age_id string,age_name string ）维度表dim_user_demography_sex （sex_id string,sex_name strin...

2018-04-24 16:24:12 3248

原创 openjdk1.8执行jmap报错

openjdk版本openjdk version "1.8.0_161"OpenJDK Runtime Environment (build 1.8.0_161-b14)OpenJDK 64-Bit Server VM (build 25.161-b14, mixed mode)执行jmap -heap 报错 jmap -heap 17694 Attaching to pro...

2018-04-23 11:50:09 5886 3

原创 Spark1.6内存管理(二) 实例讲解：Spark管理页面中Storage Memory是如何计算的？

书接上文： https://blog.csdn.net/wisgood/article/details/78069753 本文主要讲解879.0MB是如何算出来的？spark用的是1.6版本。对应程序的参数设置为 spark-shell --executor-memory 1536M Storage Memory该页面显示的Storage Memory 实际是上文...

2018-04-08 13:11:47 11430

原创 Runtime.getRunTime.maxMemory为啥比Xmx指定的内存小

先贴一些程序代码import java.lang.management.ManagementFactory;import java.lang.management.MemoryMXBean;import java.lang.management.MemoryPoolMXBean;public class MemoryDemo { static String mb(long ...

2018-04-08 12:05:33 9405

翻译 64位jvm和32位jvm性能

原文引自于： http://www.oracle.com/technetwork/java/hotspotfaq-138619.html#64bit_description 一般来说，64位jvm相比32位jvm能够处理更大的内存，但伴随而来的一个小的性能损失。这是因为系统中的每个本地指针在64位jvm上都占用8个字节而不是4个。加载这些额外的数据会影响内存使用量，这会导致执行速度稍...

2018-04-05 10:03:03 7433 1