- 博客(6)
- 资源 (15)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 spark shuffer调优
性能优化 shufflespark.shuffle.file.buffer，默认32kspark.shuffle.memoryFraction，0.2map端内存缓冲，reduce端内存占比；很多资料、网上视频，都会说，这两个参数，是调节shuffle性能的不二选择，很有效果的样子，实际上，不是这样的。以实际的生产经验来说，这两个参数没有那么重要，往往来说，shuffle的性能不是因为...
2020-01-21 10:27:28
345
原创 go交叉编译出错(Mac编译Linux)
Mac编译Linux命令：CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build执行之后发现报错：# github.com/mattn/go-sqlite3../../../../mattn/go-sqlite3/sqlite3_go18.go:18:10: undefined: SQLiteConn然后我去网上找答案，很多人都说，需要把CGO_...
2020-01-16 10:35:26
4614
原创 HBase基本数据操作详解
文章目录概述使用命名空间Namespace命名空间管理预定义的命名空间创建表删除表修改表新增、更新数据Put常用构造函数常用方法实例代码删除数据Delete构造函数常用方法实例代码获取单行Get构造函数常用方法实测代码获取多行Scan常用构造函数常用方法实测代码概述对于建表，和RDBMS类似，HBase也有namespace的概念，可以指定表空间创建表，也可以直接创建表，进入default表空...
2020-01-15 12:13:31
606
原创 JVM垃圾回收器
Serial收集器：是一个单线程的收集器，“Stop The World”对于运行在Client模式下的虚拟机来说是一个很好的选择简单而高效Serial Old收集器Serial收集器的老年代版本，它同样是一个单线程收集器，使用“标记-整理”算法。主要意义也是在于给Client模式下的虚拟机使用。如果在Server模式下，那么它主要还有两大用途：一种用途是在JDK 1.5...
2020-01-07 09:28:33
260
原创 ZooKeeper介绍
文章目录工作原理概述Leader选举算法（Leader选举）Leader与Follower同步数据（原子广播)工作原理概述简单的说一下zookeeper工作的过程,如果对这个过程还不太清楚,或者说对它如何使用等不太清楚的,可以参考一下其他的文章,比如这篇,这一系列的文章将不讲解它如何使用(实际上我也没有在具体项目中使用过,只是简单的配置运行起来大概晓得如何工作而已).zookeeper有两种...
2020-01-03 17:54:05
199
原创 JVM垃圾收集算法
文章目录标记-清除算法（Mark-Sweep）复制算法（Copying）标记-整理算法（Mark-Compact）分代收集算法（Generational Collection）标记-清除算法（Mark-Sweep）1、标记出所有需要回收的对象，在标记完成后统一回收所有被标记的对象2、在标记完成后统一回收所有被标记的对象缺点：一个是效率问题，标记和清除两个过程的效率都不高；另一个是空间问题...
2020-01-02 09:58:49
254
TA创建的收藏夹 TA关注的收藏夹
TA关注的人