进行中

我用到的各个版本 不管你搭建哪个版本的集群，它依赖的各个版本一定要兼容，不然会遇到各种问题spark2.1.1 hadoop2.6.5 jdk1.7 scala2.11.6jdk的安装https://blog.csdn.net/lu1171901273/article/details/82048696scala安装 首先下载scala scala2.11.6下载地址，...

1、首先启动hdfs2、编辑一个文件上传到hdfs中hdfs://ip:9000/words.txt3、在spark shell中用scala语言编写spark程序使用spark-shell进入命令行界面在命令行界面输入下面命令sc.textFile("hdfs://192.168.124.140:9000/words.txt").flatMap(_.split(""))...

一、简答题1.Spark master使用zookeeper进行HA的，有哪些元数据保存在Zookeeper？答：spark通过这个参数spark.deploy.zookeeper.dir指定master元数据在zookeeper中保存的位置，包括Worker，Driver和Application以及Executors。standby节点要从zk中，获得元数据信息，恢复集群运行状态，才能对外...