spark
Glace.♥
这个作者很懒,什么都没留下…
展开
-
spark--RDD
官网RDD API Examples 一、Word Count In this example, we use a few transformations to build a dataset of (String, Int) pairs calledcountsand then save it to a file. 源数据:D:\\person.txt 1 blue 20 2 y...原创 2019-12-04 18:29:35 · 141 阅读 · 0 评论 -
spark阶段测试题
1、map和flatMap的区别 RDD.scala中的map和flatMap package com.grace.updateState import org.apache.spark.{SparkConf, SparkContext} object MapAndFlatMap { def main(args: Array[String]): Unit = { val sc...原创 2019-11-27 16:34:28 · 236 阅读 · 0 评论 -
SparkStreaming
启动kafka 依赖: <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-streaming --> <dependency> <groupId>org.apache.spark</groupId> &l...原创 2019-11-22 15:12:10 · 172 阅读 · 0 评论 -
Spark SQL
创建DataFrames 一、spark-shell版本 1)spark-shell版本 spark中已经创建好了SparkContext和SQLContext对象 2)代码: spark-shell命令 ./spark-shell --master spark://hdp-1:7077 --executor-memory 500m --total-executor-cores 1 ...原创 2019-11-20 19:47:46 · 359 阅读 · 0 评论 -
HIVE-on-Spark
hive底层是通过MR进行计算,将其改变为SparkCore来执行 配置步骤 1.在不是高可用集群的前提下,只需要将Hadoop安装目录中的core-site.xml拷贝到spark的配置conf文件目录下即可 2.将hive安装路径下的hive-site.xml拷贝到spark的配置conf配置文件目录下即可 注意: 若是高可用:需要将hadoop安装路径下的core-site,xml和hdf...原创 2019-11-20 18:40:18 · 711 阅读 · 0 评论 -
Spark的缓存Cache
一、启动hdfs、yarn、zookeeper、spark集群 二、启动spark-shell命令 ./spark-shell --master spark://hdp-1:7077 --executor-memory 500m --total-executor-cores 1 三、读取文件 var lines = sc.textFile("hdfs://hdp-1:9000/hel...原创 2019-11-19 14:47:35 · 201 阅读 · 0 评论 -
spark中wordCount案例
数据源 http://bigdata.edu360.cn/laozhang http://bigdata.edu360.cn/laozhang http://bigdata.edu360.cn/laozhao http://bigdata.edu360.cn/laozhao http://bigdata.edu360.cn/laozhao http://bigdata.edu360.cn/la...原创 2019-11-18 21:47:52 · 263 阅读 · 0 评论 -
使用spark在yarn上运行
①使用Yarn运行spark时,需要在spark-env.sh中添加以下行 export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop 注意:在您的环境中检查$HADOOP_HOME / etc / hadoop是否正确.而spark-env.sh也包含HADOOP_HOME的导出. ②修改/root/apps/hadoop-2.8.1/etc/hadoo...原创 2019-11-14 20:26:14 · 157 阅读 · 0 评论 -
在idea中用scala编写ScalalWorldCount,打包集群运行
一、新建maven工程 pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:sc...原创 2019-11-14 20:19:18 · 215 阅读 · 0 评论 -
spark集群安装配置及其spark shell练习
1,下载安装 2,配置文件 /root/apps/spark-2.4.4-bin-hadoop2.7/conf路径下,以hdp-4为例 vi spark-env.sh export JAVA_HOME=/root/apps/jdk1.8.0_201 #export SPARK_MASTER_HOST=hdp-1 #export SPARK_MASTER_PORT=7077 export...原创 2019-11-14 19:47:11 · 351 阅读 · 1 评论