![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
云计算
Xeon-Shao
这个作者很懒,什么都没留下…
展开
-
云计算仿真框架CloudSim介绍(截图版)
本文原文地址:http://1.johnhome.sinaapp.com/?p=257所有权利归原作者所有。转载 2022-04-20 09:48:59 · 1351 阅读 · 0 评论 -
Spark面对OOM问题的解决方法及优化总结
转载请保持完整性并注明来源链接: http://blog.csdn.net/yhb315279058/article/details/51035631 Spark中的OOM问题不外乎以下两种情况map执行中内存溢出shuffle后内存溢出 map执行中内存溢出代表了所有map类型的操作,包括:flatMap,filter,mapPatitions等。shuffle后转载 2017-09-16 19:58:20 · 359 阅读 · 0 评论 -
Spark自定义分区(Partitioner)
我们都知道Spark内部提供了HashPartitioner和RangePartitioner两种分区策略(这两种分区的代码解析可以参见:《Spark分区器HashPartitioner和RangePartitioner代码详解》),这两种分区策略在很多情况下都适合我们的场景。但是有些情况下,Spark内部不能符合咱们的需求,这时候我们就可以自定义分区策略。为此,Spark提供了相应的接口,我们只转载 2017-09-16 19:33:55 · 764 阅读 · 0 评论 -
RDD Join 性能调优
阅读本篇博文时,请先理解RDD的描述及作业调度:[《深入理解Spark 2.1 Core (一):RDD的原理与源码分析 》](http://blog.csdn.net/u011239443/article/details/53894611#t16)Join数据是我们在Spark操作中的很重要的一部分。Spark Core 和Spark SQL的基本类型都支持join操作。虽然join很常转载 2017-09-16 19:29:50 · 474 阅读 · 0 评论 -
Spark数据本地性
分布式计算系统的精粹在于移动计算而非移动数据,但是在实际的计算过程中,总存在着移动数据的情况,除非是在集群的所有节点上都保存数据的副本。移动数据,将数据从一个节点移动到另一个节点进行计算,不但消耗了网络IO,也消耗了磁盘IO,降低了整个计算的效率。为了提高数据的本地性,除了优化算法(也就是修改spark内存,难度有点高),就是合理设置数据的副本。设置数据的副本,这需要通过配置参数并长期观察运行状态转载 2016-12-28 16:54:57 · 1180 阅读 · 0 评论 -
[Spark]Could not locate executable null\bin\winutils.exe in the Hadoop binaries
这里集群环境不同,但遇到的问题及解决办法其实一样,时间有限,就不详细修改了。我主要是在Windows本地运行Spark程序出现该错误。本文转自http://www.cnblogs.com/hyl8218/p/5492450.html,所有权力归原作者所有。在已经搭建好的集群环境Centos6.6+Hadoop2.7+Hbase0.98+Spark1.3.1下,在Win7系统Inte转载 2017-09-16 19:14:05 · 745 阅读 · 0 评论 -
[Spark] - HashPartitioner & RangePartitioner 区别
Spark RDD的宽依赖中存在Shuffle过程,Spark的Shuffle过程同MapReduce,也依赖于Partitioner数据分区器,Partitioner类的代码依赖结构主要如下所示:主要是HashPartitioner和RangePartitioner两个类,分别用于根据RDD中key的hashcode值进行分区以及根据范围进行数据分区一、Partition转载 2017-09-16 19:11:55 · 2447 阅读 · 0 评论 -
关于SPARK_WORKER_MEMORY和SPARK_MEM
在spark中最容易混淆的是各种内存关系。本篇讲述一下SPARK_WORKER_MEMORY和SPARK_MEM。SPARK_WORKER_MEMORY是计算节点worker所能支配的内存,各个节点可以根据实际物理内存的大小,通过配置conf/spark-env.sh来分配内存给该节点的worker进程使用。在spark standalone集群中,如果各节点的物理配置不一样,co转载 2017-09-16 10:36:35 · 3915 阅读 · 0 评论 -
区块链与大数据究竟有着怎样的关系?
今天,很多人还没弄懂大数据,区块链又来了。区块链与大数据究竟有着怎样的关系?看完本文的五大观点,你会认同赛智时代的这个结论:区块链让大数据汹涌而来。本文转自http://www.raincent.com/content-10-7207-1.html,所有权力归原作者所有。马云说过,这是一个变化的年代,当很多人还没有搞懂PC互联网的时候,移动互联网来了,当很多人还没弄懂移动互联网转载 2017-02-24 14:03:34 · 5092 阅读 · 2 评论 -
云计算仿真框架CloudSim介绍
幻灯片1云计算仿真框架CloudSim介绍jiangzw#ihep.ac.cn(以下为本人某次报告做的调研的PPT及其它一些实践记录,为保证清晰度,一些插入的图片较大,可在新标签页中打开)(本文基于署名 2.5 中国大陆许可协议发布,欢迎转载、演绎,但是必须保留本文的署名 John 并包含本文链接。)欢迎交流2013年04月09日转载 2017-01-04 10:56:07 · 11739 阅读 · 2 评论