- 博客(13)
- 收藏
- 关注
RSS订阅原创 MR实战:实现IP地址去重
一、实战概述本实战项目主要利用Hadoop MapReduce框架对多个文本文件中的IP地址进行整合并去除重复项。首先，在虚拟机上创建了三个包含IP地址列表的文本文件（ips01.txt、ips02.txt、ips03.txt），并将这些文件上传至HDFS上的/deduplicate/input目录作为原始数据。接着，通过IntelliJ IDEA创建了一个Maven项目MRDeduplicateIPs，并添加了hadoop-client和junit相关依赖。
2024-01-12 17:28:16
936
1
原创 HIVE:分科求平均分
在这个实战中，我们使用了Hive框架来处理学生的月考成绩数据。首先，我们准备了三个文本文件，分别包含了语文、数学和英语的月考成绩数据。这些数据被上传到HDFS的指定目录。接着，我们启动了Hive Metastore服务，并通过Hive客户端连接到Hive。在Hive中，我们创建了一个分区表student_score，用于存储学生的成绩数据，其中分区字段为科目（subject）。然后，我们按照科目将数据加载到分区表中，分别加载了语文、数学和英语的成绩数据。
2024-01-09 10:54:41
944
原创 MR实战:词频统计
本实战演练旨在利用Hadoop MapReduce框架在虚拟环境中执行一个简单的词频统计任务。首先，在master节点上创建了一个包含多个单词行的文本文件words.txt，并将该文件上传至HDFS中的指定目录/wordcount/input。在集成开发环境IntelliJ IDEA中，我们创建了一个名为MRWordCount的Maven项目，并引入了Apache Hadoop 3.3.4版本的客户端依赖和JUnit测试框架。
2024-01-08 16:52:11
827
原创 MR实战:信息去重
本次实战任务目标是使用Hadoop MapReduce技术对两个包含重复数据的文本文件file1.txt和file2.txt进行去重操作，并将结果汇总到一个文件。首先启动Hadoop服务，然后在虚拟机上创建这两个文本文件并上传到HDFS的/dedup/input目录。在Map阶段，我们创建自定义Mapper类DeduplicateMapper，将TextInputFormat默认组件解析的键值对修改为需要去重的数据作为key，value设为空。
2024-01-08 16:31:44
807
原创 MR实战:分科求平均分
一、实战概述在本次实战中，我们将利用Hadoop MapReduce处理学生月考成绩数据，目标是计算每个同学语文、数学和英语的平均分。通过启动Hadoop服务、准备数据、创建Maven项目以及实现Mapper、Reducer和Driver类，我们将深入实践大数据处理流程。此任务将帮助我们理解MapReduce的工作原理，并提升大数据分析能力。一起来探索分布式计算的力量，揭示隐藏在海量数据中的学习表现趋势。我们首先启动Hadoop服务，并在虚拟机上创建包含语文、数学、英语成绩的文本文件。
2024-01-08 12:08:18
905
原创 MR实战:学生信息排序
在信息爆炸的时代，数据处理与分析的重要性日益凸显。MapReduce作为一种强大的分布式计算模型，以其高效并行处理能力解决了大规模数据集的处理难题。本次实践教程，我们将通过一个具体的任务——学生信息排序，深入浅出地引导大家掌握MapReduce的基本原理和应用。从数据准备到实现步骤，再到拓展练习，我们将一起领略MapReduce的强大魅力，揭示其在大数据处理中的关键作用。本教程将通过Hadoop MapReduce实现学生信息排序任务。
2024-01-08 09:56:35
928
原创 MapReduce实战：统计总分与平均分
在本次实战中，我们将利用Apache Hadoop的MapReduce框架来计算一个包含五名学生五门科目成绩的数据集的总分和平均分。我们将通过以下步骤实现这一目标：首先，在虚拟机上创建并准备数据，将成绩表以文本文件形式存储并在HDFS上设定输入目录；然后，使用IntelliJ IDEA创建Maven项目，并添加必要的Hadoop和JUnit依赖；接着，我们将实现ScoreMapper和ScoreReducer类，分别负责处理输入数据和计算总分与平均分；
2024-01-08 08:53:09
1767
1
原创 Hive实战：实现数据去重
在本次实战任务中，我们利用Hive大数据处理框架对三个文本文件（ips01.txt、ips02.txt、ips03.txt）中的IP地址进行了整合与去重。首先，在虚拟机上创建了这三个文本文件，并将它们上传至HDFS的/deduplicate/input目录下作为原始数据源。接着，启动了Hive Metastore服务和客户端，以管理和访问元数据信息。
2024-01-05 13:11:38
968
1
原创 Hive实战：学生信息排序
本次实战以Apache Hive数据仓库工具为核心，通过处理存储在HDFS上的学生信息表实现数据排序操作。首先，创建并上传包含8条记录的学生表数据至HDFS的指定目录，每条记录由姓名、性别、年龄、手机和专业五个字段组成。随后，启动Hive Metastore服务与客户端，并基于HDFS上的文本文件建立了一个外部表t_student。在实战任务中，主要运用Hive SQL进行数据查询与排序。首先展示了如何按年龄降序排列学生信息，直观展示了Hive对大规模结构化数据的强大处理能力。
2024-01-05 11:04:56
818
1
原创 Hive实战：词频统计
文章目录一、实战概述二、提出任务三、完成任务（一）准备数据文件1、在虚拟机上创建文本文件2、将文本文件上传到HDFS指定目录(二）实现步骤1、启动Hive Metastore服务2、启动Hive客户端3、基于HDFS文件创建外部表4、查询单词表，所有单词成一列5、基于查询结果创建视图6、基于视图进行分组统计7、基于嵌套查询一步搞定一、实战概述在本次实战中，我们任务是在大数据环境下使用Hive进行词频统计。首先，我们在master虚拟机上创建了一个名为test.txt的文本文件，内容包含一些关键词的句
2024-01-05 09:15:06
1092
原创 Hive实战:计算总分与平均分
3、AVG(chinese + math + english + physics + chemistry) AS average_score: 对每个学生的语文、数学、英语、物理和化学成绩进行求平均值，并将这一结果命名为average_score。2、SUM(chinese + math + english + physics + chemistry) AS total_score: 对每个学生的语文、数学、英语、物理和化学成绩进行求和，并将这一结果命名为total_score。这将计算出每个学生的总分。
2024-01-05 08:54:00
835
1
原创 HDFS Java API 基本操作实验
接下来，我们将深入到各个部分，让我们一同来探索这个数据处理的世界吧！在这一部分，我们将进一步深入，结合Java IO流，展示如何通过IO流上传、读取和下载文件。详细说明： Log4j是一个用于Java应用程序的灵活的日志框架，log4j-core包含了其核心的日志处理功能。单击【Finsh】按钮，在弹出的【Tip of the Day】消息框里勾选【Don’t show tips】单击【Next】按钮，在对话框里设置项目名称、位置、组标识和构件标识。单击【Close】按钮，看到一个空的Maven项目。
2023-12-08 17:09:56
72
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人