Spark
清风竹雨
JAVA 分布式 大数据
展开
-
Spark的运行模式讲解
文章目录一、背景二、yran-client模式1.yran-client运行流程图2.yarn-client的工作流程三、yran-cluster模式1.yran-cluster运行流程图2.yran-cluster的工作流程四、yran-client与yran-cluster对比 一、背景 yran是hadoop体系中的资源调度管理机制,在上面可以运行多套计算框架比如MapReduce;同样 也...原创 2019-12-28 16:53:09 · 358 阅读 · 0 评论 -
Spark应用程序运行关键词与作业执行关键词讲解
文章目录1.应用程序运行关键词2.作业执行关键词 1.应用程序运行关键词 Application(应用程序):是指用户编写的spark应用程序,包含驱动程序(Driver)和分布在集群中多个节点上运行的Executor代码,在执行过程中有一个或多个作业组成。 Driver(驱动程序):Spark中的Driver即运行上述Application的main函数并创建SparkContext,其中创建...原创 2019-12-27 16:26:54 · 275 阅读 · 0 评论 -
基于Spark的电商推荐系统
ECommerceRecommendSystem 基于spark的商品推荐系统 项目体系架构设计 1.1 项目系统架构 项目以推荐系统建设领域知名的经过修改过的中文亚马逊电商数据集作为依托,以某电商网站真实业务数据架构为基础,构建了符合教学体系的一体化的电商推荐系统,包含了离线推荐与实时推荐体系,综合利用了协同过滤算法以及基于内容的推荐方法来提供混合推荐。提供了从前端应用、后台服务、算法设计实现、...原创 2020-07-16 08:56:17 · 5919 阅读 · 3 评论