大数据实验 实验六：Spark初级编程实践_spark 读取文件系统的数据 (1)在spark-shell中读取 linux操作系统本地文件&quot；h

最新推荐文章于 2024-08-03 19:37:05 发布
最新推荐文章于 2024-08-03 19:37:05 发布
阅读量642 收藏 12
点赞数 5
分类专栏： 程序员 文章标签： 大数据 面试 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84182097/article/details/138719137
版权

img
img
img

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

20170103 x
20170104 z
20170105 y
根据输入的文件 A 和 B 合并得到的输出文件 C 的样例如下：
20170101 x
20170101 y
20170102 y
20170103 x
20170104 y
20170104 z
20170105 y
20170105 z
20170106 z

编写文件A B
在这里插入图片描述
配置编译选项
在这里插入图片描述
编译代码
在这里插入图片描述
使用/software/spark-3.4.0-bin-hadoop3/bin/spark-submit --class “RemDup” /software/RemDup/target/scala-2.12/remove-duplication_2.12-1.0.jar 命令运行jar包

运行

在这里插入图片描述
查看运行结果

在这里插入图片描述

4. 编写独立应用程序实现求平均值问题

每个输入文件表示班级学生某个学科的成绩，每行内容由两个字段组成，第一个是学生名字，第二个是学生的成绩；编写 Spark 独立应用程序求出所有学生的平均成绩，并输出到一个新文件中。下面是输入文件和输出文件的一个样例，供参考。

Algorithm 成绩：
小明 92
小红 87
小新 82
小丽 90
Database 成绩：
小明 95
小红 81
小新 89
小丽 85
Python 成绩：
小明 82
小红 83
小新 94
小丽 91
平均成绩如下：
(小红,83.67)
(小新,88.33)
(小明,89.67)
(小丽,88.67)

编译被操作文件 Algorithm database python

在这里插入图片描述
编写代码文件
在这里插入图片描述

编写配置文件

在这里插入图片描述
程序打包
在这里插入图片描述
使用命令/software/spark-3.4.0-bin-hadoop3/bin/spark-submit --class “AvgScore” /software/AvgScore/target/scala-2.12/average-score_2.12-1.0.jar运行程序

在这里插入图片描述
查看结果在这里插入图片描述

出现的问题

问题一

运行start-all命令时spark报错
说缺少依赖

问题二

在etc/profile中更改完环境后
Source命令刷新文件仍然出现路径配置错误
在这里插入图片描述

问题三

在用sbt编译的过程中报错

在这里插入图片描述

解决方案

问题一

在下载安装包时版本选择错误

在这里插入图片描述
将安装包换为
在这里插入图片描述

问题二

因为之前开启了两个窗口进行命令操作
在这里插入图片描述
在一个窗口刷新在另一个窗口使用start-all命令
于是在同一个窗口source一下

在这里插入图片描述成功启动,问题解决

问题三

在这里插入图片描述

在这里插入图片描述

img
img
img

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

正体系化！**

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

2401_84182097
关注
  • 5
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
实验七：Spark初级编程实践
07-15
Spark 可以读取多种数据源，包括本地文件系统和 HDFS（Hadoop 分布式文件系统）。在 Spark Shell 中，可以使用内置函数读取文件，如 `sc.textFile()`，并进行简单的数据分析。实验中统计了 `/home/hadoop/test.txt`...
小节测验
Junds0的博客
12-19 1198
打开右侧代码文件窗口，在 Begin 至 End 区域补充代码，完成任务。打开右侧代码文件窗口，在 Begin 至 End 区域补充代码，完成任务。打开右侧代码文件窗口，在 Begin 至 End 区域补充代码，完成任务。打开右侧代码文件窗口，在 Begin 至 End 区域补充代码，完成任务。打开右侧代码文件窗口，在 Begin 至 End 区域补充代码，完成任务。打开右侧代码文件窗口，在 Begin 至 End 区域补充代码，完成任务。
大数据技术原理及应用课实验7 :Spark初级编程实践
01-16
在"大数据技术原理及应用课实验7：Spark初级编程实践"中，我们主要关注Spark的两个核心知识点：数据读取和Spark应用程序的开发流程。 首先，Spark提供了一种简单的方式去访问不同的数据源，包括本地文件系统和...
大数据实验报告Windows环境下安装Spark及RDD编程和Spark编程实现wordcount.doc
12-15
大数据实验报告 Windows 环境下安装 Spark 及 RDD 编程和 Spark 编程实现 wordcount 本实验报告主要介绍了在 Windows 环境下安装 Spark 及 RDD 编程和 Spark 编程实现 wordcount 的步骤和过程。实验中首先安装了 ...
大数据Spark技术数据分析综合实验
06-25
### 大数据Spark技术数据分析综合实验 #### 实验目的 本次实验的核心目标在于利用出租车上传的GPS点数据作为分析对象，运用K-means聚类算法对出租车轨迹点进行聚类处理，进而找出出租车活动最频繁的区域，并最终...
大数据分析与内存计算-Spark安装以及Hadoop操作-实验报告
04-12
通过以上知识点的学习，可以掌握如何在Linux环境下安装配置Hadoop和Spark，熟悉HDFS的基本操作命令，并能利用Spark对本地文件和HDFS文件进行数据处理。这对于从事大数据处理工作的技术人员来说是非常实用的技能。
大数据信用查询什么样的平台比较靠谱?
xiaoyikj的博客
08-01 624
随着互联网的发展和普及，大数据技术逐渐应用到各行各业中，其中之一就是信用查询领域，大数据信用查询平台能够为用户提供全面、准确的大数据信用评估，然而，由于市场上出现了许多不同的大数据信用查询平台，我们如何才能选择一个靠谱可信的平台呢?市面上很查询大数据的平台都只有一个单链接，用户查询完成之后，对报告有不清楚的地方，根本没有办法找到专人为其分析，如果一份报告自己看不懂，没有人解答，那么这次的钱就是白花了，而小易大数据平台则是市面上为数不多的提供大数据报告免费解读的平台，深受用户好评。
hive的内部表（MANAGED_TABLE）和外部表（EXTERNAL_TABLE）的区别
qq_58462591的博客
08-01 242
外部表：外部表的存储在hdfs中，是我们指定的文件目录，当我们删除数据或者删除分区的时候不会将元数据删除，数据还会在hdfs目录中，我们还可以进行数据挂载。内部表：内部表的存储是在hdfs的默认目录下，当我们删除数据或者删除分区的时候会将元数据删除，数据文件也会被删除。运行指令找到table_type 如果为MANAGED_TABLE，那就是内部表，内部表和外部表的主要区别在于数据的存储方式。如果是EXTERNAL_TABLE,那就是外部表。
Flink DataStream API编程入门
L
08-01 147
DataStream API的名称来自于DataStream类，该类用于表示Flink程序中的数据集合。您可以将它们视为包含重复项的不可变数据集合。这些数据可以是有限的，也可以是无限的，但是用于处理它们的API是相同的。在使用方面，数据流与常规Java Collection类似，但在一些关键方面有很大不同。DataStream是不可变的，这意味着一旦创建了它们，就不能添加或删除元素。您不仅可以简单地检查其中的元素，还可以使用DataStream API算子（也称为转换）对它们进行处理。
Rabbitmq的几种工作模式
最新发布
你我约定有三的博客
08-03 296
的交换机(具体交换机的类型和概念小伙伴们可以自行查阅下，这里主要讲工作模式)，生产者将消息发送给这个交换机，这个交换机把消息发送给每一个和其绑定的队列(注意。#号表示支持匹配多个词；*号表示只能匹配一个词，假如同一个队列与交换机直接设置的多个模糊的key都符合传入的，那么也只传送一次。的交换机不需要key所以生产者传递直接传""就好)(谁处理快，谁做的多)路由模式Routing。
超13万律师使用的工具，启信宝推出“司法大数据”功能
INTSIG的博客
07-30 430
合合信息旗下的启信宝，作为行业领先的商业查询APP，依托其3亿企业及机构的实时动态数据，涵盖工商、股权、司法、知识产权等多维度信息，推出了“司法大数据”功能。
大数据技术原理-Hbase的安装和应用
m0_63931079的博客
08-01 944
本实验报告详细介绍了在“大数据技术原理”课程中进行的HBase实验。实验环境基于Hadoop生态系统，包括HBase和Java。实验内容涵盖了HBase的安装、版本查询、SSH登录、Hadoop与HBase的启动与关闭，以及通过HBase Shell命令实现数据的基本操作，如表的创建、数据的插入、删除和查询。关键词：HBase；大数据；Hadoop；Shell命令；数据操作
SpringBoot整合Flink CDC实时同步postgresql变更数据，基于WAL日志
dylan的博客
07-31 690
在工作中经常会遇到要实时获取数据库（postgresql、mysql等）的变更数据，主要体现数据的实时性；【技术实现】java实时同步postgresql变更数据，基于WAL日志但是，之前的实现方式比较繁琐，不利于维护，所有本文整合Flink CDC通过一个比较简单的方式实现；Flink CDC（Change Data Capture）是一个基于Apache Flink构建的开源数据变更捕获（CDC）框架。
设计高并发系统：从理论到实践
lssffy的博客
08-03 255
高并发系统需要在短时间内处理大量的请求，确保系统的稳定性和高效性。设计高并发系统的关键目标是提高系统的吞吐量和响应速度，减少延迟。高并发系统的典型应用场景包括电子商务网站、社交网络平台、在线游戏等。通过本文的详细介绍，您应对设计一个高并发系统有了全面的了解。从系统架构设计到核心技术实现，再到分布式系统设计和性能测试，高并发系统的每个环节都需要精心设计和优化。通过合理利用分布式技术、缓存策略、异步处理和负载均衡等技术手段，您可以构建一个高效、稳定和安全的高并发系统，满足海量用户的需求。
实战：MySQL数据同步神器之Canal
为无为，事无事，味无味。
08-02 684
canal [kə'næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。项目起源于阿里巴巴内部对于跨机房数据同步的需求，通过解析MySQL的二进制日志（Binary Log），Canal能够捕获并推送数据库的变更事件，满足了诸如数据库镜像、实时备份、索引实时维护等多种业务场景的需求。GitHub - alibaba/canal: 阿里巴巴 MySQL binlog 增量订阅&消费组件。
大数据-61 Kafka 高级特性 消息消费02-主题与分区 自定义反序列化 拦截器 位移提交 位移管理 重平衡
永远好奇，无限进步！
08-02 948
上节我们完成了消费组测试、消费组心跳机制、相关配置参数等内容。本节研究Kafka高级特性的 主题与分区 自定义反序列 拦截器 位移提交 重平衡 如何避免重平衡等概念问题。重平衡可以说是Kafka中诟病最厉害的一部分。 重平衡是一个协议，它规定了如何让消费者组下的所有消费者来分配Topic中每一个分区。要完全避免重平衡做不到，但是要尽量避免重平衡。 在分布式系统中，由于网络问题没有接收到心跳，此时不确认是挂了还是负载没过来还是网络阻塞。
RabbitMQ的快速入门
博客
08-03 488
RabbitMQ是一套开源（MPL）的消息队列服务软件，是由 LShift 提供的一个 Advanced Message Queuing Protocol (AMQP) 的开源实现，由以高性能、健壮以及可伸缩性出名的Erlang写成。
RabbitMQ知识总结（工作模式）
月伴飞鱼
08-02 306
通配符模式（Topics）是在路由模式的基础上，给队列绑定带通配符的路由关键字，只要消息的 RoutingKey 能实现通配符匹配，就会将消息转发到该队列。使用发布订阅模式时，所有消息都会发送到绑定的队列中，但很多时候，不是所有消息都无差别的发布到所有队列中。工作队列模式的交换机只能将消息发送给一个队列，发布订阅模式的交换机能将消息发送给多个队列。生产者将消息发送给交换机，交换机将消息转发到绑定此交换机的 每个队列 中。通配符模式比路由模式更灵活，通配符模式使用 topic 交换机。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值