实验报告
文章平均质量分 80
Z.Q.Feng
这个作者很懒,什么都没留下…
展开
-
实验7 Spark初级编程实践
1. Spark读取文件系统的数据2.编写独立应用程序实现数据去重对于两个输入文件A和B,编写Spark独立应用程序(推荐使用Scala语言),对两个文件进行合并,并剔除其中重复的内容,得到一个新文件C。下面是输入文件和输出文件的一个样例,供参考。3.编写独立应用程序实现求平均值问题每个输入文件表示班级学生某个学科的成绩,每行内容由两个字段组成,第一个是学生名字,第二个是学生的成绩;编写Spark独立应用程序求出所有学生的平均成绩,并输出到一个新文件中。下面是输入文件和输出文件的一个样例,供参考。原创 2021-12-23 14:40:10 · 17370 阅读 · 19 评论 -
实验5 MapReduce初级编程实践(3)——对给定的表格进行信息挖掘
一、实验目的通过实验掌握基本的MapReduce编程方法;掌握用MapReduce解决一些常见的数据处理问题,包括数据去重、数据排序和数据挖掘等。二、实验平台操作系统:Linux(建议Ubuntu16.04或Ubuntu18.04)Hadoop版本:3.1.3三、实验内容对给定的表格进行信息挖掘下面给出一个child-parent的表格,要求挖掘其中的父子辈关系,给出祖孙辈关系的表格。输入文件的内容如下:child parentSteven LucySteven Jack原创 2021-11-29 10:45:14 · 13310 阅读 · 25 评论 -
实验6 熟悉Hive的基本操作
一、实验目的(1)理解Hive作为数据仓库在Hadoop体系结构中的角色。(2)熟练使用常用的HiveQL。二、实验平台操作系统:Ubuntu18.04(或Ubuntu16.04)。Hadoop版本:3.1.3。Hive版本:3.1.2。JDK版本:1.8。三、数据集由《Hive编程指南》(O’Reilly系列,人民邮电出版社)提供,下载地址:https://raw.githubusercontent.com/oreillymedia/programming_hive/master/原创 2021-11-26 01:04:37 · 24430 阅读 · 20 评论 -
实验5 MapReduce初级编程实践(2)——编写程序实现对输入文件的排序
一、实验目的通过实验掌握基本的MapReduce编程方法;掌握用MapReduce解决一些常见的数据处理问题,包括数据去重、数据排序和数据挖掘等。二、实验平台操作系统:Linux(建议Ubuntu16.04或Ubuntu18.04)Hadoop版本:3.1.3三、实验内容编写程序实现对输入文件的排序现在有多个输入文件,每个文件中的每行内容均为一个整数。要求读取所有文件中的整数,进行升序排序后,输出到一个新的文件中,输出的数据格式为每行两个整数,第一个数字为第二个整数的排序位次,第原创 2021-11-24 16:07:24 · 16109 阅读 · 27 评论 -
实验5 MapReduce初级编程实践(1)——编程实现文件合并和去重操作
一、实验目的通过实验掌握基本的MapReduce编程方法;掌握用MapReduce解决一些常见的数据处理问题,包括数据去重、数据排序和数据挖掘等。二、实验平台操作系统:Linux(建议Ubuntu16.04或Ubuntu18.04)Hadoop版本:3.1.3三、实验内容编程实现文件合并和去重操作对于两个输入文件,即文件A和文件B,请编写MapReduce程序,对两个文件进行合并,并剔除其中重复的内容,得到一个新的输出文件C。下面是输入文件和输出文件的一个样例供参考。输入文件A的样原创 2021-11-22 19:57:16 · 35621 阅读 · 70 评论 -
实验五 Linux系统管理(二)
一、实验目的理解进程概念、状态变化以及进程族系关系。掌握进程的一般管理。二、实验要求回顾系统进程的概念,加深对Linux进程管理的理解。回顾ps命令和选项。列出当前shell 中的进程。根据命令名搜索特定的进程。使用 kill, sleep、&命令管理进程。三、实验内容(要求详细列出步骤截图)1. 在GNOME当前终端窗口中输入ps命令,有多少进程正在进行?为什么只有这么少的进程?ps # 因为ps命令只显示当前用户在使用的进程2. 执行ps -f命令,并将输出的以下信息原创 2021-11-22 16:51:47 · 3035 阅读 · 3 评论 -
实验5 MapReduce初级编程实践(Python实现)
1. 编程实现文件合并和去重操作对于两个输入文件,即文件A和文件B,请编写 MapReduce 程序,对两个文件进行合并,并剔除其中重复的内容,得到一个新的输出文件C。2.编写程序实现对输入文件的排序现在有多个输入文件,每个文件中的每行内容均为一个整数。要求读取所有文件中的整数,进行升序排序后,输出到一个新的文件中;输出的数据格式为每行两个整数,第一个数字为第二个整数的排序位次,第二个整数为原待排列的整数。3. 对给定的表格进行信息挖掘下面给出一个child-parent的表格,要求挖掘其中的父子原创 2021-11-14 16:54:27 · 7218 阅读 · 9 评论 -
实验三 Linux文件管理
文章目录一、实验目的二、实验要求三、实验内容(要求详细列出步骤截图)一、实验目的掌握文件管理的基本内容和原理;了解文件和目录操作的系统调用用户接口;二、实验要求熟悉Linux文件目录管理各种功能命令。三、实验内容(要求详细列出步骤截图)用root账号登录到终端,完成以下内容:(1)查看当前所在目录;pwd(2)显示当前目录的文件列表;ls -l ./(3)显示/root目录下的所有文件;ls -a /root(4)以长格式的形式显示/root目录下的原创 2021-10-30 15:02:39 · 2848 阅读 · 0 评论 -
实验二 Linux基本命令的使用
一、实验目的熟悉Linux系统的操作环境;学习和掌握Linux的基本命令。二、实验要求掌握不同模式的切换;练习使用 Linux 常用命令,做到熟练应用。三、实验内容(要求详细列出步骤截图)掌握Linux系统不同模式的切换;(1) X窗口→字符界面:init 3(2)字符界面→X窗口:startx注意这里的 localhost login 输入我们的用户名,接着输入密码登录后,才使用上述命令切换到X窗口模式。使用man手册察看ls命令如何使用;man ls原创 2021-10-30 14:32:01 · 902 阅读 · 0 评论 -
实验四 Linux系统管理(一)
文章目录一、实验目的二、实验要求三、实验内容(要求详细列出步骤截图)一、实验目的掌握用户管理的基本内容和原理;理解与用户管理有关的工具与命令的具体作用以及关键部分的内容;从用户管理的角度初步理解系统安全管理的具体内容。掌握文件管理的基本内容和原理;掌握linux软件包管理方法。掌握RPM命令和yum的使用。熟悉图形模式下软件管理工具的使用。二、实验要求掌握用户管理的基本内容和原理;掌握linux软件包管理方法。三、实验内容(要求详细列出步骤截图)以root用户身份原创 2021-10-26 00:38:25 · 4876 阅读 · 2 评论