Spark
文章平均质量分 69
这个人很懒i
又胖又丑,前途未卜。
展开
-
spark打包的方式
1、不需要第三方依赖 直接在项目的根目录下面执行如下命令: mvn package -DskipTests 2、需要第三方依赖 此时就需要在pom中添加一个第三方的插件来完成打包 <build> <sourceDirectory>src/main/scala</sourceDirectory> <plugins> ...原创 2019-12-06 09:40:20 · 1149 阅读 · 0 评论 -
Spark在分布式环境中的安装过程中的主要问题
Spark在分布式环境中的安装过程中的主要问题 1.Spark集群HA无法正常启动的问题 master节点正常情况的状态为ALIVE与STANDBY,使用HA后通过zookeeper集群来确定master的ALIVE与STANDBY。 问题: 出现master节点一直处于RECOVERING,处理恢复状态,却不能正常启动。 解决方法: #进入zk的客户端 zkCli.sh #查看目录 ls/ #删...原创 2019-12-04 16:52:32 · 538 阅读 · 0 评论 -
Spark在分布式环境中的安装
文章目录Spark在分布式环境中的安装1.安装 scala1.1上传1.2解压1.3重命名1.4添加环境变量1.5配置文件生效1.6验证2.安装Spark2.1上传2.2重命名2.3添加环境变量2.4环境变量生效2.5修改配置文件2.6启动并体验2.6.1 启动2.6.2 停止3.Spark HA的环境安装3.1修改配置文件3.2启动HA集群3.3HA集群的验证3.3HA集群的验证 Spark在...原创 2019-12-04 16:21:21 · 713 阅读 · 0 评论