lin的专栏

简介： 在我的CDH5.15.0集群中，默认安装的spark是1.6版本，这里需要将其升级为spark2.x版本。经查阅官方文档，发现spark1.6和2.x是可以并行安装的，也就是说可以不用删除默认的1.6版本，可以直接安装2.x版本，它们各自用的端口也是不一样的。我尝试了安装spark2.3版本，大告成功，这里做一下安装spark2.3版本的步骤记录。 一.  安装准备 所需软件 ...

版本： spark 2.2.0  hive 1.1.0  scala 2.11.8  hadoop-2.6.0-cdh5.7.0  jdk 1.8  MongoDB 3.6.4 一 原始数据及Hive表  MongoDB数据格式 {    "_id" : ObjectId("5af65d86222b639e0c2212f3"),    "id" : "1",    "name" : ...

一、下载Spark安装包 1、从官网下载 http://spark.apache.org/downloads.html   2、从微软的镜像站下载 http://mirrors.hust.edu.cn/apache/ 3、从清华的镜像站下载 https://mirrors.tuna.tsinghua.edu.cn/apache/ 二、安装基础 1、Java8安装成功 2、z...

转载自过往记忆（https://www.iteblog.com/） 本文链接: 【Apache Spark 2.4 新增内置函数和高阶函数使用介绍】（https://www.iteblog.com/archives/2459.html） Apache Spark 2.4 新增了24个内置函数和5个高阶函数，本文将对这29个函数的使用进行介绍。关于 Apache Spark 2.4 的新特性，可以...