![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
palace_wy
一起学习,一起创新!!!
展开
-
MapReduce的初步理解
MapReduce 是什么? MapReduce 是一个 软件框架,可以采用并行、分布式处理GB、TB,甚至PB级的大数据集,同事它也是一个在商用服务器集群之上完成大规模数据处理的执行框架。 MapReduce 是一种 编程范式,可以利用集群环境的成百上千台服务器实现强大的可伸缩性。 上图给出了MapReduce执行过程的简单那视图。简单来说,MapReduce的目标就是实现可伸缩性。使用Map...原创 2019-04-12 15:17:12 · 222 阅读 · 0 评论 -
hdfs开启安全模式 无法对文件进行操作,leave命令也不好使
首先呢,当hdfs开启安全模式时,通常情况下有两个方法可以离开安全模式: 1、修改dfs.safemode.threshold.pct为一个比较小的值,缺省是0.999。 2、hdfs dfsadmin -safemode leave命令强制离开 但今天遇到了一个更奇葩的问题,hdfs dfsadmin -safemode leave命令也无法强行离开安全模式,不但无法对文件进行操作还报出了以下的...原创 2019-04-25 11:39:24 · 2038 阅读 · 0 评论 -
Spark之调优策略
Spark调优策略: 所谓的Spark资源参数调优,其实主要就是对Spark运行过程中各个使用资源的地方,通过调节各种参数来优化资源使用的效率,从而提升Spark作业的执行性能。以下参数就是Spark中主要的资源参数,每个参数都对应着作业运行原理中的某个部分,我们同时也给出了一个调优的参考值。 num-executors 参数说明:该参数用于设置Spark作业总共要用多少个Executor进程来执...原创 2019-04-25 16:56:50 · 117 阅读 · 0 评论