- 博客(6)
- 资源 (16)
- 收藏
- 关注
转载 详细探究Spark的shuffle实现和hadoop mapreduce shuffle原理
Background 在MapReduce框架中,shuffle是连接Map和Reduce之间的桥梁,Map的输出要用到Reduce中必须经过shuffle这个环节,shuffle的性能高低直接影响了整个程序的性能和吞吐量。Spark作为MapReduce框架的一种实现,自然也实现了shuffle的逻辑,本文就深入研究Spark的shuffle是如何实现的,有什么优缺点,与Hadoop Ma
2017-02-24 15:01:57 6646
转载 Spark学习笔记之-Spark on yarn(External Shuffle Service)
Spark系统在运行含shuffle过程的应用时,Executor进程除了运行task,还要负责写shuffle 数据,给其他Executor提供shuffle数据。 当Executor进程任务过重,导致GC而不能为其 他Executor提供shuffle数据时,会影响任务运行。 这里实际上是利用External Shuffle Service 来提升性能,Extern
2017-02-23 18:14:30 9521
原创 spark on yarn 基本用法
两种模式: cluster mode client mode 启动shell: bin/spark-shell --master yarn-client bin/spark-shell --master yarn-cluster - 不支持 例子: 提交Spark Job方式: ./bin/spark-submit --class org.apache.spark.examples.SparkP...
2017-02-21 16:07:08 7836
原创 storm 1.0新特性
参考: 官方文档:https://storm.apache.org/releases/1.0.0/ 性能提升:与先前的版本相比,处理速度增加, 延迟减少.性能提升10倍以上,延迟减少60%。Storm 1.0的性能最高提升了16倍,在大多数情况下预计都会有3倍的性能提升。性能的重大改善来自下面的更改: 在SpoutOutputCollector.emi
2017-02-16 11:05:43 8292
转载 mac idea 快捷键大全
Mac键盘符号和修饰键说明 ⌘ Command⇧ Shift⌥ Option⌃ Control↩︎ Return/Enter⌫ Delete⌦ 向前删除键(Fn+Delete)↑ 上箭头↓ 下箭头← 左箭头→ 右箭头⇞ Page Up(Fn+↑)⇟ Page Down(Fn+↓)Home Fn + ←End Fn + →⇥ 右制表符(Tab键)⇤ 左制表符(Shift+Tab)⎋ Escap
2017-02-10 12:06:00 6504
转载 十大Intellij IDEA快捷键
Intellij IDEA中有很多快捷键让人爱不释手,stackoverflow上也有一些有趣的讨论。每个人都有自己的最爱,想排出个理想的榜单还真是困难。以前也整理过Intellij的快捷键,这次就按照我日常开发时的使用频率,简单分类列一下我最喜欢的十大快捷-神-键吧。 1 智能提示 Intellij首当其冲的当然就是Intelligence智能!基本的代码提示用Ctrl+Space,
2017-02-07 19:06:11 8382
SonarLint-3.5-for-intellj-idea-亲测好使.zip
2019-08-09
C#语言c/结构酒店管理系统_幽灵工作室提供
2013-05-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人