你的博客

前一篇部署了spark operator，这边介绍spark访问hdfs，hive数据一. 编写代码Java代码，访问hdfs及访问hivepackage com.seagate.client.zyspark;import java.io.File;import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import java.sql.Statement;import

最近开始研究spark on kubernetes，经过调研，spark on kubernetes有两种方案，一种是官方的spark提供的原生支持按照spark-submit方式提交任务，第二种是google基于kubernetes提供的spark operator方案，还是按照kubernetes声明式语法提交任务。一. spark on kubernetes区别 spark on k8s spark on k8s operator 社区支持

经用户要求，需要安装jupyter notebook供其使用来调用我们集群的spark，因此需要搭建jupyter环境并启动我们的jupyter主要是提供python代码的编写，且在python中调用pyspark来使用集群的spark资源。查找了网上的教程和博客，记录下自己安装jupyter的过程和问题前置条件服务器已经安装了python（我用的2.7） 服务器已经安装了spa...