- 博客(6)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Spark之shuffle性能优化
一 开启consolidation机制 spark.shuffle.consolidateFiles，这个参数默认为false，设置为true后，shuffle的性能将得到极大的提升。在没有开启开启consolidation机制的时候，shuffle write的性能是比较低下的，而且会直接影响shuffle read的性能。因为在shuffle map端创建的文件太多了，导致shuffl...
2017-08-30 14:47:19
641
原创 hive2.3部署实践踩过的一些坑
1、hive.metastore.schema.verification这个参数的属性设置为false，在hive-site.xml文件中修改。否则hiveserver启动失败。2、如果报这样的错：Exception in thread "main" java.sql.SQLException: Could not open client transport with JDBC Uri:
2017-08-23 14:39:50
5335
转载 ssh 免密码设置失败原因总结
转载：http://yjmyzz.cnblogs.com 先复习一下设置ssh免密码操作的步骤：进入主目录cd生成公钥ssh-keygen -t rsa -P '' (注：最后是二个单引号，表示不设置密码)然后分发公钥到目标机器ssh-copy-id -i ~/.ssh/id_rsa.pub 用户名@对方机器IP (注意不要忘记了参数-i)
2017-08-11 11:06:04
420
原创 Java通过认证kerberos连接HDFS
针对java语言中通过kerberos认证访问hadoop环境可以利用第三方api包。UserGroupInformation这个类JAAS 框架上封装了Hadoop 的用户信息，更确切地说是subject做了一层封装： UserGroupInformation(Subject subject) { this.subject = subject; this.user = su...
2017-08-10 14:09:14
12784
原创 Java虚拟机垃圾回收调优
GC对性能的影响在于，如果内存中数据量比较大的话，那么可能会造成GC频繁的发生，另外如果要回收的数据量特别大，那么会导致GC的速度也比较慢。gc线程工作时，会让程序中的task线程暂停工作，那么整个应用程序的性能就会大打折扣。
2017-08-10 09:52:55
615
原创 Spark数据结构优化
要减少内存的消耗，除了使用高效的序列化库以外，还有一个很重要的事情，就是优化数据结构。从而避免Java语法特性中所导致的额外内存的开销，比如基于Java数据结构，以及包装类型。
2017-08-09 15:57:33
462
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人