spark
AA强
程序员转行项目管理,忐忑进行中
展开
-
Yarn application has already ended! It might have been killed or unable to launch application maste
https://www.cnblogs.com/tibit/p/7337045.html转载 2019-07-03 10:27:17 · 259 阅读 · 0 评论 -
Spark读取HA模式下的HDFS
通过配置参数的方式访问 HA模式不同于普通模式直接使用ip:8020这种方式访问。HA模式使用多NameNode,直接访问NameNode是不被允许的,所以为HDFS集群另外设置了一个命名空间namespace,以及两个NameNode的名称,在访问时候直接访问namespace即可。访问方式有两种,需要依赖Hadoop-Client包。在Spark中:通过配置参数的方式访问...原创 2019-07-03 11:06:39 · 2482 阅读 · 1 评论 -
spark Hadoop 高可用模式下读写hdfs
第一种,通过配置文件 val sc = new SparkContext() sc.hadoopConfiguration.set("fs.defaultFS", "hdfs://ns"); sc.hadoopConfiguration.set("dfs.nameservices", "ns"); sc.hadoopConfiguration.set("dfs.h...原创 2019-07-09 15:22:46 · 588 阅读 · 0 评论 -
spark 二次排序 文件数据较少情况下
package com.gao.mapreduceSparkimport org.apache.spark.{SparkConf, SparkContext}object SecondarySortByMemory { def main(args: Array[String]): Unit = { // if (args.length != 2) { pr...原创 2019-08-28 17:31:10 · 127 阅读 · 0 评论