大数据作业
文章平均质量分 80
大数据作业
功夫大笨鲨
这个作者很懒,什么都没留下…
展开
-
实验5_熟悉数据可视化工具的使用方法
一、实验目的通过本次实验掌握数据获取、数据清洗与存储和数据可视化工具的基本使用方法。二、 实验平台三、实验内容和要求新冠疫情数据获取考核要点: 尽可能全面的获取疫情数据,包括国内、国外的疫情历史数据,越新越好,而且疫苗接种数量等信息也尽量获取。老师会根据数据的全面程度给定分数。推荐采用爬虫方式获取数据,如果有困难的话,可以采用网上别人整理好的数据。关于数据源,可以从世界卫生组织、丁香园、腾讯新闻等渠道获取,网上有很多资料可以参考。新冠疫情数据清洗与存储考核要点: 要对获取的疫情相关数据原创 2021-10-20 19:59:13 · 248 阅读 · 0 评论 -
实验4_MapReduce编程初级实践
一、实验目的通过实验掌握基本的MapReduce编程方法;掌握用MapReduce解决一些常见的数据处理问题,包括数据去重、数据排序和数据挖掘等。二、 实验平台请描述已经配置完成的Hadoop伪分布式环境的信息。三、实验内容和要求编程实现文件合并和去重操作对于两个输入文件,即文件A和文件B,请编写MapReduce程序,对两个文件进行合并,并剔除其中重复的内容,得到一个新的输出文件C。下面是输入文件和输出文件的一个样例供参考。输入文件A的样例如下:20150101 x2015原创 2021-10-13 20:08:23 · 3266 阅读 · 0 评论 -
hadoop实验二
一、实验目的理解HDFS在Hadoop体系结构中的角色熟练使用HDFS操作常用的Shell命令熟悉HDFS操作常用的Java API二、实验平台操作系统:Hadoop版本:JDK版本:Java IDE:三、实验内容和要求利用Hadoop提供的Shell命令完成下列任务:向HDFS中上传任意文本文件,如果指定的文件在HDFS中已经存在,由用户指定是追加到原有文件末尾还是覆盖原有的文件。从HDFS中下载指定文件,如果本地文件与要下载的文件名称相同,则自动对下载的文件重命名。原创 2021-09-28 18:31:30 · 5067 阅读 · 0 评论 -
hbase-实验三
一、实验目的理解HBase在Hadoop体系结构中的角色;熟练使用HBase操作常用的Shell命令;熟悉HBase操作常用的Java API。二、实验平台操作系统:Hadoop版本:HBase版本:JDK版本:Java IDE:三、实验内容和要求使用HBase Shell命令完成下列任务:列出HBase所有的表的相关信息,例如表名;在终端打印出指定的表的所有记录数据;向已经创建好的表添加和删除指定的列族或列;清空指定的表的所有记录数据;统计表的行数。2.现原创 2021-09-30 00:07:20 · 5892 阅读 · 3 评论