![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
Thomas_White
这个作者很懒,什么都没留下…
展开
-
SparkStreaming
1.reduceByKey,只执行当前输入package com.zpark.stu.sparkstreamimport org.apache.log4j.{Level, Logger}import org.apache.spark.SparkConfimport org.apache.spark.streaming.{Seconds, StreamingContext}obje...原创 2019-11-25 09:26:22 · 103 阅读 · 0 评论 -
Spark链接Hive
1.将Hadoop的conf中的core-site.xml和Hive的conf中的hive-site.xml拷贝到Spark的conf目录下2.将Mysql的驱动jar包放在Spark的jar目录中3.启动命令,在spark的bin目录下,如果你配置了环境变量那就另当别论了./spark-sql \--master spark://hdp-1:7077 \--executor-...原创 2019-11-20 18:42:54 · 166 阅读 · 0 评论 -
Spark API
数据源:person.loghttp://bigdata.edu360.cn/laozhaohttp://bigdata.edu360.cn/laozhaohttp://bigdata.edu360.cn/laozhaohttp://bigdata.edu360.cn/laozhaohttp://bigdata.edu360.cn/laozhaohttp://bigdata.edu...原创 2019-11-20 12:44:53 · 242 阅读 · 0 评论 -
SparkSql
1.编写数据源val seq = Seq(("1","xiaoming",15),("2","xiaohong",18),("3","tom",19))2.将数据转换为RDDval rdd1 = sc.parallelize(seq)3.匹配字段名val df = rdd1.toDF("id","name","age")4.查询数据df.showDSL风格...原创 2019-11-20 09:49:47 · 113 阅读 · 0 评论 -
spark-WordCount程序
1.启动一个spark shell./spark-shell --master spark://hdp-1:7077 --executor-memory 500m --total-executor-cores 12.启动在yarn上的spark shell./spark-shell --master yarn --deploy-mode client执行时会出现一个HADOOP_H...原创 2019-11-13 18:33:08 · 158 阅读 · 0 评论 -
spark安装及配置
1.将spark上传到虚拟机中,注意自己安装的hadoop的版本2.解压spark到apps中tar -zxvfspark-2.4.4-bin-hadoop2.7.tgz3.修改配置文件cd apps/spark-2.4.4-bin-hadoop2.7/conf将spark-env.sh.template和slaves.template进行重命名mvspark-env....原创 2019-11-11 13:25:03 · 307 阅读 · 0 评论