![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
技术
JJBIGGER
程序猿
展开
-
Spark算子汇总和理解(详细)
Spark算子汇总和理解(详细) Spark之所以比Hadoop灵活和强大,其中一个原因是Spark内置了许多有用的算子,也就是方法。通过对这些方法的组合,编程人员就可以写出自己想要的功能。说白了spark编程就是对spark算子的使用。所以熟悉spark算子是spark编程的必修课。这篇文章是本人对于spark算子的汇总和理解。欢迎批评指正 :)combineByKey(creat...转载 2019-04-11 10:59:07 · 1106 阅读 · 0 评论 -
zookeeper介绍与详细分析
1,什么是zookeeperZookeeper是Google的Chubby一个开源的实现,是hadoop的分布式协调工作 用于名称服务、分组服务、配置信息等等。,它是一个轻量级分布式架构和api实现分布式管理。2,为什么要用到 zookeeper1)大部分分布式应用需要一个主控、...转载 2019-04-09 10:21:56 · 208 阅读 · 0 评论 -
spark知识精简版
spark UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架。 1、Spark Streaming:支持高吞吐量、支持容错的实时流数据处理 ...转载 2019-04-09 10:59:05 · 254 阅读 · 0 评论 -
Elasticsearch入门(一):CentOS 7.6 安装ES 7.0.0
版权声明:本文为博主转载文章,原创博客: https://blog.csdn.net/Zereao/article/details/89341014 </div> <link rel="stylesheet" href="https://csdnimg.cn/release/phoenix/template/css/ck_h...转载 2019-04-24 15:50:56 · 1498 阅读 · 3 评论 -
Elasticsearch入门(二):Elasticsearch 安装 Head 插件
版权声明:本文为博主转载文章,原创博客: https://blog.csdn.net/Zereao/article/details/89362105在上一篇文章Elasticsearch入门(一):CentOS 7.6 安装ES 7.0.0中,我们讲了如何在CentOS 7.6环境下安装 Elasticsearch 7.0。下面,我将讲一讲,如何安装ES必备插件之——elasticsea...转载 2019-04-24 15:56:58 · 1429 阅读 · 0 评论 -
Elasticsearch入门(三):Elasticsearch 7.0.0 集群搭建
版权声明:本文为博主转载文章,原创博客: https://blog.csdn.net/Zereao/article/details/89373246在上一篇文章Elasticsearch入门(二):Elasticsearch 安装 Head 插件中,我讲了如何安装 Node.js以及安装 elasticsearch-head 插件。本文呢,我将继续讲一讲,如何搭建 Elasti...转载 2019-04-24 15:59:17 · 1602 阅读 · 0 评论 -
Spark Core面试篇05
Spark Core面试篇051、scala中private 与 private[this] 修饰符的区别?1)private ,类私有的字段,Scala 会自动生成私有的 getter/setter 方法,通过对象实例可以调用如下面的 other.job;2)private[this],对象私有的字段,Scala 不生成 getter/setter 方法,所以只能在对象内部访问被修饰的字段...转载 2019-05-23 09:22:37 · 421 阅读 · 0 评论 -
Spark on Yarn面试篇07
1、简答说一下hadoop的map-reduce编程模型首先map task会从本地文件系统读取数据,转换成key-value形式的键值对集合使用的是hadoop内置的数据类型,比如longwritable、text等将键值对集合输入mapper进行业务处理过程,将其转换成需要的key-value在输出之后会进行一个partition分区操作,默认使用的是hashpartitioner...转载 2019-05-23 09:27:01 · 258 阅读 · 0 评论