spark
龚-gxq
努力且认真做好每一件事
展开
-
spark Linux系统 安装配置 附安装包
1 tar -zxvf 文件名解压spark2 cd到spark目录是confcp spark-env.sh.template spark-env.sh #使用模板vi spark-env.sh添加export JAVA_HOME=/opt/app/jdkexport SCALA_HOME=/opt/app/scalaexport SPARK_WORKING_MEMORY=521mexport SPARK_MASTER_IP=192.168.0.118export ...原创 2020-06-30 15:47:05 · 158 阅读 · 0 评论 -
Rdd创建的两种方式
1parallelize 函数val paraAdd= sc.parallelize(Array(1 to 100))2 外部存储创建操作val lines: RDD[String] = sc.textFile("user.log")调试代码 // 创建配置文件对象 val conf: SparkConf = new SparkConf() // 配置应用程序名称 conf.setAppName("sparkwordcount") //window调试参数 con...原创 2020-06-02 14:49:37 · 553 阅读 · 0 评论 -
spark 本地调试
package com.zr.spark.machineLearingimport org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.rdd.RDDobject Main { def main(args: Array[String]): Unit = { /** * 初始化环境 */ // 创建配置文件对象 val conf: SparkConf = ne...原创 2020-05-31 22:54:59 · 414 阅读 · 0 评论 -
笔记 spark提交任务
spark 提交任务笔记./spark-submit --class org.apache.spark.examples.SparkPi --master spark://localhost:7077 /opt/app/spark/examples/jars/spark-examples_2.11-2.4.5.jar 10原创 2020-05-30 14:57:47 · 104 阅读 · 0 评论