匠人精神，持之以恒！

Livy是一个提供Rest接口和spark集群交互的服务。它可以提交Spark Job或者Spark一段代码,同步或者异步的返回结果;也提供Sparkcontext的管理,通过Restful接口或RPC客户端库。Livy也简化了与Spark与应用服务的交互,这允许通过web/mobile与Spark的使用交互。其他特点还包含:...

文章目录一、概述二、Spark Streaming基本原理1）官方文档对Spark Streaming的原理解读2）框架执行流程三、Spark Streaming核心API1）StreamingContext2）DStream输入3）DStream的转换4）DStream的输出五）窗口操作四、Spark下一代实时计算框架Structured Streaming1）简介2） Spark streaming 和 Spark Structured Streaming的对比3）对比其它实时计算框架一、概述Sp

文章目录一、Spark on Hive 和 Hive on Spark的区别1）Spark on Hive2）Hive on Spark（本章实现）二、Hive on Spark实现1）编译hive1、下载hive2、编译hive3、解压hive4、下载spark5、打包spark jar包并上传到HDFS6、配置7、设置环境变量8、初始化数据库（mysql）9、启动metastore和hiveserver210、测试验证2）编译Spark1、先下载hive-3.1.2源码包查看spark版本2、下载spa

文章目录一、Spark SQL概述二、SparkSQL版本1）SparkSQL的演变之路2）shark与SparkSQL对比3）SparkSession三、RDD、DataFrames和DataSet1）三者关联关系1）RDD1、核心概念2、RDD简单操作3、RDD API1）Transformation2）Action4、实战操作2）DataFrames1、DSL风格语法操作1）DataFrame创建2、SQL风格语法操作3）DataSetRDD，DataFrame，DataSet互相转化四、RDD、Da

文章目录一、Spark概述二、Spark的运行模式1）Standalone（本章讲解）2）Mesos3）YARN（推荐）4）K8S（新模式）三、Standalone 模式运行机制1）Standalone Client 模式2）Standalone Cluster 模式四、Spark 集群安装（Standalone）1）机器及角色划分2）三台机器安装JDK环境3）下载4）配置spark5）将配置好的包copy另外两台集群5）启动1、启动Master（在hadoop-node1节点上执行）2、启动Worker节

文章目录一、概述1）Spark特点2）Spark适用场景二、Spark核心组件三、Spark专业术语详解1）Application：Spark应用程序2）Driver：驱动程序3）Cluster Manager：资源管理器4）Executor：执行器5）Worker：计算节点6）RDD：弹性分布式数据集7）窄依赖8）宽依赖9）DAG：有向无环图10）DAGScheduler：有向无环图调度器11）TaskScheduler：任务调度器12）Job：作业13）Stage：调度阶段14）TaskSet：任务集1