我俏丽吗的博客

Spark算子汇总和理解（详细） Spark之所以比Hadoop灵活和强大，其中一个原因是Spark内置了许多有用的算子，也就是方法。通过对这些方法的组合，编程人员就可以写出自己想要的功能。说白了spark编程就是对spark算子的使用。所以熟悉spark算子是spark编程的必修课。这篇文章是本人对于spark算子的汇总和理解。欢迎批评指正 ：)combineByKey(creat...

1，什么是zookeeperZookeeper是Google的Chubby一个开源的实现，是hadoop的分布式协调工作 用于名称服务、分组服务、配置信息等等。，它是一个轻量级分布式架构和api实现分布式管理。2，为什么要用到 zookeeper1)大部分分布式应用需要一个主控、...

spark    UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架。    1、Spark Streaming：支持高吞吐量、支持容错的实时流数据处理  ...

版权声明：本文为博主转载文章，原创博客： https://blog.csdn.net/Zereao/article/details/89341014 </div> <link rel="stylesheet" href="https://csdnimg.cn/release/phoenix/template/css/ck_h...

版权声明：本文为博主转载文章，原创博客： https://blog.csdn.net/Zereao/article/details/89362105在上一篇文章Elasticsearch入门（一）：CentOS 7.6 安装ES 7.0.0中，我们讲了如何在CentOS 7.6环境下安装 Elasticsearch 7.0。下面，我将讲一讲，如何安装ES必备插件之——elasticsea...

版权声明：本文为博主转载文章，原创博客： https://blog.csdn.net/Zereao/article/details/89373246在上一篇文章Elasticsearch入门（二）：Elasticsearch 安装 Head 插件中，我讲了如何安装 Node.js以及安装 elasticsearch-head 插件。本文呢，我将继续讲一讲，如何搭建 Elasti...

Spark Core面试篇051、scala中private 与 private[this] 修饰符的区别？1）private ，类私有的字段，Scala 会自动生成私有的 getter/setter 方法，通过对象实例可以调用如下面的 other.job；2）private[this]，对象私有的字段，Scala 不生成 getter/setter 方法，所以只能在对象内部访问被修饰的字段...

1、简答说一下hadoop的map-reduce编程模型首先map task会从本地文件系统读取数据，转换成key-value形式的键值对集合使用的是hadoop内置的数据类型，比如longwritable、text等将键值对集合输入mapper进行业务处理过程，将其转换成需要的key-value在输出之后会进行一个partition分区操作，默认使用的是hashpartitioner...