- 博客(10)
- 资源 (29)
- 收藏
- 关注
原创 如何查看jvm中的各种参数以及默认值
1 标准参数标准参数(-),所有的JVM实现都必须实现这些参数的功能,而且向后兼容; 通过命令 java即可查看 如下where options include: -d32 use a 32-bit data model if available -d64 use a 64-bit data model if available...
2018-04-28 10:36:51 22904
原创 不同gc垃圾回收器组合及日志样例
不同的jvm参数所使用的老年代、年轻代组合如下图。 参数 新生代 老年代 -XX:+UseSerialGC Serial(DefNew) Serial Old -XX:+UseParNewGC ParNew Serial Old -XX:+UseConcMarkSweepGC ParNew CMS + Serial Old...
2018-04-27 13:30:03 962
原创 Spark SQL中Join常用的几种实现
1、引言Join是SQL语句中的常用操作,良好的表结构能够将数据分散在不同的表中,使其符合某种范式,减少表冗余、更新容错等。而建立表和表之间关系的最佳方式就是Join操作。SparkSQL作为大数据领域的SQL实现,自然也对Join操作做了不少优化,今天主要看一下在SparkSQL中对于Join,常见的3种实现。2 、Spark SQL中Join常用的实现2.1 、Broa...
2018-04-27 13:13:47 2606 3
转载 Understanding Hive joins in explain plan output
Hive is trying to embrace CBO(cost based optimizer) in latest versions, and Join is one major part of it. Understanding join best practices and use cases is one key factor of Hive performance tunning....
2018-04-24 18:52:27 369
原创 hive中 bucket mapjoin 与 SMB join(Sort-Merge-Bucket)区别
1 bucket mapjoin1.1 条件1) set hive.optimize.bucketmapjoin = true; 2) 一个表的bucket数是另一个表bucket数的整数倍 3) bucket列 == join列 4) 必须是应用在map join的场景中1.2 注意1)如果表不是bucket的,只是做普通join。2 SMB join (...
2018-04-24 18:50:23 5972
原创 Hive中mapjoin优化例子
1 基本信息3个表,1个事实表,2个维度表事实表 test_fact (mid string,sex_id string,age_id string )维度表dim_user_demography_age (age_id string,age_name string )维度表dim_user_demography_sex (sex_id string,sex_name strin...
2018-04-24 16:24:12 3248
原创 openjdk1.8执行jmap报错
openjdk版本openjdk version "1.8.0_161"OpenJDK Runtime Environment (build 1.8.0_161-b14)OpenJDK 64-Bit Server VM (build 25.161-b14, mixed mode)执行jmap -heap 报错 jmap -heap 17694 Attaching to pro...
2018-04-23 11:50:09 5886 3
原创 Spark1.6内存管理(二) 实例讲解:Spark管理页面中Storage Memory是如何计算的?
书接上文: https://blog.csdn.net/wisgood/article/details/78069753 本文主要讲解879.0MB是如何算出来的?spark用的是1.6版本。 对应程序的参数设置为 spark-shell --executor-memory 1536M Storage Memory该页面显示的Storage Memory 实际是上文...
2018-04-08 13:11:47 11430
原创 Runtime.getRunTime.maxMemory为啥比Xmx指定的内存小
先贴一些程序代码import java.lang.management.ManagementFactory;import java.lang.management.MemoryMXBean;import java.lang.management.MemoryPoolMXBean;public class MemoryDemo { static String mb(long ...
2018-04-08 12:05:33 9405
翻译 64位jvm和32位jvm性能
原文引自于: http://www.oracle.com/technetwork/java/hotspotfaq-138619.html#64bit_description 一般来说,64位jvm相比32位jvm能够处理更大的内存,但伴随而来的一个小的性能损失。 这是因为系统中的每个本地指针在64位jvm上都占用8个字节而不是4个。加载这些额外的数 据会影响内存使用量,这会导致执行速度稍...
2018-04-05 10:03:03 7433 1
rpmbuild-demo工程
2015-01-21
Weka源代码详细分析系列
2012-05-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人