大数据
小简铺子
小白NLPer,学习中......
展开
-
Spark各种模式的环境搭建及相关工作流程介绍
1前言 本篇博客主要记录的是Spark的3种运行模式及对应的模式环境搭建过程和流程介绍。3种模式都是经过实践记录详细的操作过程和注意事项。 在进行环境的配置过程中,建议先理解每个模式下的工作流程,然后再进行环境搭建,这样容易加深理解。由于Spark on YARN是搭建在HDFS分布式环境下的,所以此处可以参考一下Hadoop环境搭建及相关组件的工作流程介绍进行环境搭建,对应的软件下载地址密码...原创 2018-05-27 16:37:40 · 3236 阅读 · 0 评论 -
Hadoop环境搭建及相关组件的工作流程介绍
1前言 本篇博客主要是记录Hadoop环境配置包括单机伪分布环境搭建,分布式环境搭建和Hadoop相关组件的工作流程介绍,包括HDFS读写流程,YARN的资源调度流程,MapReduce工作流程。 建议先理解各个组件的工作流程,再去配置环境会更容易理解。 2Hadoop单机伪分布配置 说明:Windows的上一台虚拟机VM,系统Centos6.5,系统用户zkpk,超级用户root ...原创 2018-05-24 11:45:40 · 2792 阅读 · 0 评论