weixin_60530224的博客

在本次实验中，主要是学习掌握基本的Flink编程方法编写Flink程序的方法以及对大数据的基础编程技能进行巩固。并且还学习了Flink的基本原理和运行机制，还通过具体的代码实现，了解到Flink程序的编写步骤和注意事项。此外，还学会了如何使用IntelliJ IDEA工具进行Flink程序的编写和调试，加深了对开发工具的了解。

对于访问本地文件，我们可以使用Spark的textFile()方法来读取本地的文本文件，而对于访问HDFS文件，则需要设置HDFS的URL和存储路径，在编写、编译和运行Spark应用程序时，需要使用Scala或Java等语言来编写Spark的代码，并使用sbt或Maven等工具来进行编译和打包。（3）编写独立应用程序（推荐使用Scala语言），读取HDFS系统文件“/user/hadoop/test.txt”（如果该文件不存在，请先创建），然后，统计出文件的行数；1. Spark读取文件系统的数据。

在本次实验中，理解学习了Hive作为数据仓库在Hadoop体系结构中的角色以及学习了如何使用常用的HiveQL。具体如下：学习了创建内部表、从文件向表中导入数据、利用Hive自动分区特性向分区表dividends各个分区中插入对应数据、查询指定的内容等等。还有在实验中有遇到过一些问题，如在启动 Hive 时,出现 Hive metastore database is not initialized 的错误。

1. 通过实验掌握基本的MapReduce编程方法；2. 掌握用MapReduce解决一些常见的数据处理问题，包括数据去重、数据排序和数据挖掘等。二、实验平台1. 操作系统：Linux（建议Ubuntu16.04或Ubuntu18.04）2. Hadoop版本：3.1.3三、实验步骤（每个步骤下均需有运行截图）（一）编程实现文件合并和去重操作对于两个输入文件，即文件A和文件B，请编写MapReduce程序，对两个文件进行合并，并剔除其中重复的内容，得到一个新的输出文件C。下面是输入文件

在本次实验中，理解到了四种数据库(MySQL、HBase、Redis和MongoDB)的概念以及它们的不同点；通过这次实验对使用四种数据库操作常用的Shell命令有了更深的体会，并且还学习了MySQL、HBase、Redis和MongoDB这四种数据库操作常用的Java API。在此次实验中，对于redis和MongoDB的安装花费了不少时间，根据实验步骤是有报错的，经过查找CSDN解决了一些问题，但还是仍有问题，后面发觉一些问题是暂时不影响实验的继续，问题可以先放着。

在本次实验中，我更加进一步理解了HDFS在Hadoop体系结构中的角色并能使用HDFS操作常用的Shell命令以及HDFS操作常用的Java API。在本次实验的第一题是用编程Java API实现指定功能，并用Hadoop提供的HBase Shell命令完成相同任务。在本题中学习了列出HBase所有的表的相关信息，在终端打印出指定的表的所有记录数据，向已经创建好的表添加和删除指定的列族或列，清空指定的表的所有记录数据，统计表的行数。

在本次实验中，我进一步理解了HDFS在Hadoop体系结构中的角色并能使用HDFS操作常用的Shell命令以及HDFS操作常用的Java API。在本次实验的第一题我采用了Hadoop提供的Shell命令以及Java API来解答。学习了当向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，由用户指定是追加到原有文件末尾还是覆盖原有的文件。能够从 HDFS 中下载指定文件，懂得了若是本地文件与要下载的文件名称相同，自动对下载的文件重命名等等内容。

（1）使用hadoop用户登录Linux系统，启动Hadoop（Hadoop的安装目录为“/usr/local/hadoop”），为hadoop用户在HDFS中创建用户目录“/user/hadoop”（2）删除上面创建的目录“a1/a2/a3/a4” （在“/tmp”目录下面），然后查看“/tmp”目录下面存在哪些目录。（1）进入“/tmp”目录，创建一个名为“a”的目录，并查看“/tmp”目录下已经存在哪些目录。（2）在目录“/tmp”下新建目录test，再把这个目录复制到“/usr”目录下。

1. 操作系统：Linux（建议Ubuntu16.04或Ubuntu18.04）；（1）理解HDFS在Hadoop体系结构中的角色；（2）熟练使用HDFS操作常用的Shell命令；1 列出HBase所有的表的相关信息，例如表名；（3）熟悉HDFS操作常用的Java API。2. Hadoop版本：3.1.3；3. HBase版本：2.2.2；实验开始：（具体在另外一篇）4. JDK版本：1.8；

实验目的1、理解HDFS在Hadoop体系结构中的角色2、熟悉使用HDFS操作常用的Shell命令3、熟悉HDFS操作常用的Java API实验平台1、操作系统：Windows2、Hadoop版本：3.1.33、JDK版本：1.8。