Spark
Carson_xcb
但行耕耘,莫问收获
展开
-
大数据学习Spark——Windows模式(端口号相关)
1 解压缩文件将文件spark-2.4.5-bin-without-hadoop-scala-2.12.tgz解压缩到无中文无空格的路径中,将hadoop3依赖jar包拷贝到jars目录中。2 启动本地环境1) 执行解压缩文件路径下bin目录中的spark-shell.cmd文件,启动Spark本地环境2) 在bin目录中创建input目录,并添加word.txt文件, 在命令行中输入脚本代码sc.textFile("input/word.txt").flatMap(_.spl原创 2020-06-26 16:17:19 · 323 阅读 · 0 评论 -
大数据学习Spark——Yarn模式(实战配置及历史服务器)
1 解压缩文件将spark-2.4.5-bin-without-hadoop-scala-2.12.tgz文件上传到linux并解压缩,放置在指定位置。tar -zxvf spark-2.4.5-bin-without-hadoop-scala-2.12.tgz -C /opt/modulecd /opt/module mv spark-2.4.5-bin-without-hadoop-scala-2.12 spark-yarnspark2.4.5默认不支持Hadoop3,可以采用多种不同的方原创 2020-06-03 18:00:56 · 530 阅读 · 0 评论 -
大数据学习Spark——Standalone模式(高可用配置)
所谓的高可用是因为当前集群中的Master节点只有一个,所以会存在单点故障问题。所以为了解决单点故障问题,需要在集群中配置多个Master节点,一旦处于活动状态的Master发生故障时,由备用Master提供服务,保证作业可以继续执行。这里的高可用一般采用Zookeeper设置集群规划1) 停止集群 sbin/stop-all.sh 2) 启动Zookeeper zk start3) 修改spark-env.sh文件添加如下配置注释如下内容:#SPARK_MA原创 2020-06-03 15:01:50 · 298 阅读 · 0 评论 -
大数据学习Spark——Standalone模式(实战及历史服务)
1 解压缩文件将spark-2.4.5-bin-without-hadoop-scala-2.12.tgz文件上传到Linux并解压缩在指定位置 tar -zxvf spark-2.4.5-bin-without-hadoop-scala-2.12.tgz -C /opt/module cd /opt/module mv spark-2.4.5-bin-without-hadoop-scala-2.12 spark-standalonespark2.4.5默认不支持Hadoop3,可以采.原创 2020-06-03 14:48:24 · 252 阅读 · 0 评论 -
大数据学习Spark——local模式(实战)
1、解压缩文件将spark-2.4.5-bin-without-hadoop-scala-2.12.tgz文件上传到Linux并解压缩,放置在指定位置,路径中不要包含中文或空格,课件后续如果涉及到解压缩操作,不再强调。 tar -zxvf spark-2.4.5-bin-without-hadoop-scala-2.12.tgz-C /opt/module cd /opt/module mv spark-2.4.5-bin-without-hadoop-scala-2.12 spark-loca原创 2020-06-02 14:03:34 · 206 阅读 · 0 评论