- 博客(2)
- 收藏
- 关注
RSS订阅原创 动态扩容引起的空间震荡
现象 服务刚刚启动时 GC 次数较多，最大空间剩余很多但是依然发生 GC，这种情况我们可以通过观察 GC 日志或者通过监控工具来观察堆的空间变化情况即可。GC Cause一般为 Allocation Failure，且在 GC 日志中会观察到经历一次 GC ，堆内各个空间的大小会被调整，如下图所示： 原因 在 JVM 的参数中 -Xms 和 -Xmx 设置的不一致，在初始化时只会初始 -Xms 大小的空间存储信息，每当空间不够用时再向操作系统申请，这样的话必然要进行一次GC。具体是通过 Concurren
2021-03-17 09:37:28
280
原创 HiveOnSpark集成
Hive On Spark 集成 大多数情况下Hive On Spark 是无法使用Spark官方版本给定的编译成功的包的，因为里面对应的hadoop版本与生产环境的版本是无法匹配的，这就需要对spark源码进行重新编译。 使用版本 spark-2.3 hive-3.12 hadoop-3.2 spark下载下来的源码包的目录结构如下： 下面进行编译的步骤 更改打包文件 spark 的打包主要依赖dev/make-distribution.sh 这个文件，打开后首先更改其maven地址，当然这一步只是
2020-07-29 10:50:40
254
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人