Linux 下Spark shell 编程实例

最新推荐文章于 2023-03-11 11:58:41 发布
最新推荐文章于 2023-03-11 11:58:41 发布
阅读量482 收藏 7
点赞数
分类专栏： 大数据 文章标签： spark 大数据 linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43570528/article/details/115097215
版权

文章目录

1. 统计用户收藏的商品数量

格式：用户Id 商品Id 收藏日期
在这里插入图片描述

1.1 统计用户收藏数据中，每个用户收藏商品的数量。

在这里插入图片描述

1.2 统计用户收藏数据中都有哪些商品被收藏（去重）。

在这里插入图片描述

2. 查询用户购买的商品

orders表(订单id, 订单号, 买家ID, 下单日期)
在这里插入图片描述

order_items表(明细ID, 订单ID , 商品ID)
在这里插入图片描述
查询在当天该电商网站，都有哪些用户购买了什么商品。
对rdd1和rdd2进行map映射，得出计算需要的两列数据
将rdd11以及rdd22中的数据，根据Key值进行Join，输出结果
在这里插入图片描述

Fernweb_
关注
专栏目录
通过spark-shell脚本，剖析spark程序提交流程
yh950604的博客
11-27 1554
vim打开spark-shell脚本可以看到下面这段脚本 spark-shell代码片段： 可以看到在spark-shell脚本中调用了spark-submit脚本，打开spark-submit脚本发现包含如下脚本： 可以看到在spark-submit脚本中，首先检查是否设置了SPARK_HOME,然后调用了spark-class，增加了参数SparkSubmit。 打开spark-class...
Spark修炼之道（基础篇）——Linux大数据开发基础：第九节：Shell编程入门(一)...
weixin_33736832的博客
09-30 169
本节主要内容 shell编程简介 变量定义 常用特殊变量 1. shell编程简介 学习linux操作系统最让人着迷的事情莫过于shell脚本编程，这是因为如果要完成某些复杂的功能，单纯地通过GUI操作不可能达到，shell脚本可以直接与操作系统内核打交道，从而完成任意复杂的任务。shell有很多种，最常用的是Bash (Bou...
Spark-shell例子
吃果冻不吐果冻皮
12-22 2518
//parallelize演示（并行化scala的数据集） val num=sc.parallelize(1 to 10) //将数组并行化成RDD，默认分片 val doublenum=num.map(_*2) //每个元素*2 val threenum=doublenum.filter(_%3==0) //过滤出能整除3的元素 //Action触发job的运行 threenum.coll
Spark shell的实例操作
weixin_34062469的博客
11-14 379
1、 scala> val inFile = sc.textFile("./spam.data") 作用是将spam.data当作文本文件加载到Spark中，将spam.data文件中的每行作为一个RDD中的单独元素加载到Spark中，并返回一个名为inFile的RDD。 2、 scala> val inFile = sc...
Spark入门实战系列--3.Spark编程模型（上）--编程模型及SparkShell实战
yyy
09-09 977
1、Spark编程模型 1.1 术语定义 l应用程序（Application）： 基于Spark的用户程序，包含了一个Driver Program 和集群中多个的Executor； l驱动程序（Driver Program）：运行Application的main()函数并且创建SparkContext，通常用SparkContext代表Driver Program； l执行单元（Execu
SparkStreaming 整合kafka实例
zhaoguowei的博客
10-23 1073
kafka基础 核心概念 下面介绍Kafka相关概念,以便运行下面实例的同时，更好地理解Kafka. Broker Kafka集群包含一个或多个服务器，这种服务器被称为broker Topic 每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。（物理上不同Topic的消息分开存储，逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生...
Linux开发简介及应用实例及实例分析.txt
最新发布
07-12
根据提供的文件信息，本文将对Linux开发的基本概念、应用场景以及具体的实例进行详细的解析与探讨。 ### Linux开发简介 Linux作为一款免费且开源的操作系统，在服务器领域占据着举足轻重的地位。它以其高度的安全...
Linux环境Spark安装配置及使用
weixin_33754065的博客
05-07 1万+
Linux环境Spark安装配置及使用 1. 认识Spark (1) Spark介绍 大数据计算引擎 官网：spark.apache.org/ 官方介绍：Apache Spark™ is a unified analytics engine for large-scale data processing.（Apache Spark™是一个用于大规模数据处理的统一分析引擎。） Spark是一种快速...
Spark RDD编程基本操作
晓晓的天空
03-11 2782
Spark RDD编程基本操作
SparkR安装部署及数据分析实例
02-01
### SparkR安装部署及数据分析实例 #### 一、SparkR的安装配置 ##### 1.1 R与Rstudio的安装 在本节中，我们将详细解释如何在Ubuntu系统上安装R语言及其集成开发环境RStudio。 ###### 1.1.1 R的安装 **步骤一：...
sh脚本编写java方法_Linux系统Shell编程——脚本编写思路与过程
weixin_31433527的博客
02-22 138
征对这两个问题，我的解决思路如下：第一个问题：1)怎么才算访问网站失败？大家都知道，我们也会经常打不开一网站，那么访问失败，网站日志肯定会有记录的，因此，可以通过查看日志中的状态码(如200、400、403)来判断用户的访问结果2)获取IP地址获取IP地址就很简单了，awk命令就是个不错的选择第二个问题：1)统计IP地址同第一个问题一样，方法有很多，也非常简单2)如何取得十分钟内的日志115.59...
spark shell的词频统计，去重，排序及合并 （嚯啊嚯）
qq_43241439的博客
11-29 3060
Spark技术RDD算子spark-shell基础操作wordcount统计去重distinct排序sortByKey合并join RDD算子 RDD有两种类型的操作 ，分别是Transformation（返回一个新的RDD）和Action（返回values）。 1.Transformation：根据已有RDD创建新的RDD数据集build （1）map(func)：对调用map的RDD数据集中的...
spark-shell示例
jarth的专栏
11-09 1011
Scala 行数统计 命令及结果示例 # spark-shell scala> val lines  = sc.textFile("README.md") lines: org.apache.spark.rdd.RDD[String] = README.md MapPartitionsRDD[1] at textFile at :24 scala> lines.count
Spark中，DataFrame的操作实例及展示
weixin_46227398的博客
03-15 977
1、启动进程 启动：hdfs和spark，会看到如下图所示的进程 （1）主节点如图所示： （2）从节点如图所示： 2、Spark集群的启动 浏览器输入 http://10.103.104.101:8080/ （2）spark-shell启动 3、DataFrame的操作 （1） 读取数据 val inputpath="hdfs://master:9000/input" var df=s...
大数据技术----Spark实验
weixin_56853728的博客
09-22 1070
虚拟机之Spark环境搭建
spark-shell
yangwenxiaohaha的博客
11-06 540
现要求统计用户收藏数据中，每个用户收藏商品数量。 1.在Linux上，创建/data/spark3/wordcount目录，用于存储实验所需的数据。 view plain copy mkdir -p /data/spark3/wordcount 切换目录到/data/spark3/wordcount下，并从http://192.168.1.100:60000/allfiles/spark3/wor...
使用Spark shell
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-01 7193
大数据实验教学系统使用Spark shellspark-shell命令及其常用的参数如下：   Spark的运行模式取决于传递给SparkContext的Master URL的值。 • 参数选项–master：这个参数表示当前的Spark Shell要连接到哪个master，如果是local[*]，就是使用本地模式启动spark-shell，其中，中括号内的星号表示需要使用几个CPU核心(core)，也就是启动几个线程模拟Spark集群。可选地，默认为local。 • 要查看完整的参数选项列表，可以执行“s
linux脚本启动spark-shell并执行scala文件
热门推荐
yushu4772的博客
07-25 1万+
要学习程序员思维，step by step  1.如果自己平台安装了scala，好办，在shell脚本直接 scala filename.scala args args 2.如果没装scala 1）检查自己hadoop平台安装的spark环境，cd到路径 2）执行./bin/spark-shell是否启动scala 3）在脚本中执行 ./bin/spark-shell -i <f...
sparkshell编程
01-10
Spark Shell是一个交互式的Spark编程环境，它提供了一个简单方便的方式来编写和执行Spark应用程序。下面是使用Spark Shell进行编程的示例： 1. 启动Spark Shell ```shell ./bin/spark-shell ``` 2. 读取本地文件并...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值