![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
文章平均质量分 94
远太狼
容器云初创公司轻元科技研发总监,负责基于Docker、Kubernetes的轻元PaaS平台的产品研发。曾任NEC(中国)开发部部长,云计算、软件定义网络(SDN)领域资深专家,管理100人以上的研发团队,15年+的企业级平台软件系统的研发与项目管理经验。
展开
-
创建Spark 2.1.0 Docker镜像
目前使用最多的Apache Spark容器镜像是sequenceiq/spark,在Docker Hub上有330K的下载量。sequenceiq的更新速度不是很给力,目前最新的版本是sequenceiq/spark:1.6.0,本文说明了如何基于sequenceiq的Dockerfile构建Spark 2.1.0容器镜像,并记录了构建的整个过程。原创 2017-01-11 10:15:43 · 9615 阅读 · 4 评论 -
Spark 2.0的SparkSession详解
Apache Spark 2.0引入了SparkSession,为用户提供了一个统一的切入点来使用Spark的各项功能,并且允许用户通过它调用DataFrame和Dataset相关API来编写Spark程序。最重要的是,它减少了用户需要了解的一些概念,使得我们可以很容易地与Spark交互。本文将介绍在Spark 2.0中如何使用SparkSession。转载 2017-01-15 12:12:51 · 5330 阅读 · 0 评论 -
使用Eclipse IDE搭建Apache Spark的Java开发环境
本文介绍如何使用Eclipse IDE搭建Apache Spark的Java开发环境。原创 2017-01-16 15:08:43 · 9464 阅读 · 2 评论 -
Spark 2.1.0的运行模式
本文介绍了Spark 2.1.0支持的运行模式。Spark可以在集群环境中运行,也可以单机本地运行,或者在单机上部署伪分布集群来运行Spark。Spark 2.1.0原生支持三种集群:Spark原生提供的Standalone集群,以及外部资源调度框架Apache Mesos和Hadoop Yarn。原创 2017-01-18 23:47:21 · 2031 阅读 · 0 评论 -
升级Spark 2.1.0 Docker镜像到Java 8
前一篇博文《创建Spark 2.1.0 Docker镜像》介绍了如何基于sequenceiq/hadoop-docker:2.6.0镜像构建Spark 2.1.0的Docker镜像。本文介绍如何将此镜像中的Java版本升级为Java 8,并说明了升级之后的问题以及解决方案。原创 2017-01-13 17:43:10 · 2405 阅读 · 0 评论