我俏丽吗的博客

windows下安装sparkFailed to get database default, returning NoSuchObjectException java.lang.IllegalArgumentException: Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState':新的改变功能快捷键合理的创建标题，有助于目录的生成windows 安装完spark执行spark-shell 报错如下:失败截图解决方法:再

Spark算子汇总和理解（详细） Spark之所以比Hadoop灵活和强大，其中一个原因是Spark内置了许多有用的算子，也就是方法。通过对这些方法的组合，编程人员就可以写出自己想要的功能。说白了spark编程就是对spark算子的使用。所以熟悉spark算子是spark编程的必修课。这篇文章是本人对于spark算子的汇总和理解。欢迎批评指正 ：) combineByKey(creat...

spark     UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架。     1、Spark Streaming：支持高吞吐量、支持容错的实时流数据处理   ...

Spark Core面试篇05 1、scala中private 与 private[this] 修饰符的区别？ 1）private ，类私有的字段，Scala 会自动生成私有的 getter/setter 方法，通过对象实例可以调用如下面的 other.job； 2）private[this]，对象私有的字段，Scala 不生成 getter/setter 方法，所以只能在对象内部访问被修饰的字段...

1、简答说一下hadoop的map-reduce编程模型 首先map task会从本地文件系统读取数据，转换成key-value形式的键值对集合 使用的是hadoop内置的数据类型，比如longwritable、text等 将键值对集合输入mapper进行业务处理过程，将其转换成需要的key-value在输出 之后会进行一个partition分区操作，默认使用的是hashpartitioner...