![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
奋斗, 拼
生活创造数据,数据改变生活。
展开
-
Spark Streaming-2.4.3整合Kafka-0.10
1.依赖准备添加spark-streaming整合kafka的依赖,将依赖添加到pom.xml中,如下:<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming-kafka-0-10_2.11</artifactId> &...原创 2019-11-15 16:14:21 · 1373 阅读 · 0 评论 -
Spark2.2.1 on yarn 模式集群安装
假设集群有4台机器,主机名分别为:spark1、spark2、spark3、spark4。一、前提条件1、确保集群中已经安装好了hadoop-2.7hadoop集群安装参考:http://blog.csdn.net/u011563666/article/details/501704652、确保集群中每台机器上已经安装好了scala-2.11二、安装scala(若已经安装好了scala,请跳过该步骤...原创 2018-02-09 14:46:17 · 1961 阅读 · 2 评论 -
Spark源码编译
前言我这里是在windows环境下编译的,具体环境为:Windows 10、JDK8、Git-2.23.0-64-bit.exe windows版。若在linux环境下编译,过程一样,省略步骤2即可。1、官网下载源码http://spark.apache.org/downloads.html2、安装Git,并准备Git bash环境Git安装完成后,运行...原创 2019-08-28 15:12:07 · 383 阅读 · 0 评论