【大数据】Hadoop实验报告

最新推荐文章于 2024-01-16 20:38:15 发布
最新推荐文章于 2024-01-16 20:38:15 发布
阅读量3.1w 收藏 383
点赞数 56
分类专栏： 其他 文章标签： hadoop spark 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CoutCodes/article/details/118107522
版权

文章目录

实验一 熟悉常用的Linux操作和Hadoop操作

1.实验目的

Hadoop运行在Linux系统上，因此，需要学习实践一些常用的Linux命令。本实验旨在熟悉常用的Linux操作和Hadoop操作，为顺利开展后续其他实验奠定基础。

2.实验平台
  • 操作系统：Linux；
  • Hadoop版本：2.7.1。
3.实验内容和要求

（一）熟悉常用的Linux操作
请按要求上机实践如下linux基本命令。

cd命令：切换目录

（1）切换到目录 /usr/local
在这里插入图片描述

（2）切换到当前目录的上一级目录
在这里插入图片描述

（3）切换到当前登录Linux系统的用户的自己的主文件夹
在这里插入图片描述

ls命令：查看文件与目录

（4）查看目录/usr下所有的文件
在这里插入图片描述

mkdir命令：新建新目录

（5）进入“/tmp”目录，创建一个名为“a”的目录，并查看“/tmp”目录下已经存在哪些目录
在这里插入图片描述

（6）进入“/tmp”目录，创建目录“a1/a2/a3/a4”
在这里插入图片描述

rmdir命令：删除空的目录
（7）将上面创建的目录a（在“/tmp”目录下面）删除
在这里插入图片描述

（8）删除上面创建的目录“a1/a2/a3/a4” （在“/tmp”目录下面），然后查看“/tmp”目录下面存在哪些目录
在这里插入图片描述

cp命令：复制文件或目录

（9）将当前用户的主文件夹下的文件.bashrc复制到目录“/usr”下，并重命名为bashrc1
在这里插入图片描述

（10）在目录“/tmp”下新建目录test，再把这个目录复制到“/usr”目录下
在这里插入图片描述

mv命令：移动文件与目录，或更名字

（11）将“/usr”目录下的文件bashrc1移动到“/usr/test”目录下
在这里插入图片描述

（12）将“/usr”目录下的test目录重命名为test2
在这里插入图片描述

rm命令：移除文件或目录

（13）将“/usr/test2”目录下的bashrc1文件删除
$ sudo rm /usr/test2/bashrc1
在这里插入图片描述

（14）将“/usr”目录下的test2目录删除
$ sudo rm –r /usr/test2
在这里插入图片描述

cat命令：查看文件内容

（15）查看当前用户主文件夹下的.bashrc文件内容
在这里插入图片描述

tac命令：反向查看文件内容

（16）反向查看当前用户主文件夹下的.bashrc文件的内容
在这里插入图片描述

more命令：一页一页翻动查看

（17）翻页查看当前用户主文件夹下的.bashrc文件的内容
在这里插入图片描述

head命令：取出前面几行

（18）查看当前用户主文件夹下.bashrc文件内容前20行
在这里插入图片描述

（19）查看当前用户主文件夹下.bashrc文件内容，后面50行不显示，只显示前面几行
在这里插入图片描述

tail命令：取出后面几行

（20）查看当前用户主文件夹下.bashrc文件内容最后20行
在这里插入图片描述

（21） 查看当前用户主文件夹下.bashrc文件内容，并且只列出50行以后的数据
在这里插入图片描述

touch命令：修改文件时间或创建新文件

（22）在“/tmp”目录下创建一个空文件hello，并查看文件时间
在这里插入图片描述

（23）修改hello文件，将文件时间整为5天前

chown命令：修改文件所有者权限

在这里插入图片描述

（24）将hello文件所有者改为root帐号，并查看属性
在这里插入图片描述

find命令：文件查找

（25）找出主文件夹下文件名为.bashrc的文件
在这里插入图片描述

tar命令：压缩命令

（26）在根目录“/”下新建文件夹test，然后在根目录“/”下打包成test.tar.gz
在这里插入图片描述

（27）把上面的test.tar.gz压缩包，解压缩到“/tmp”目录
$ sudo tar -zxv -f /test.tar.gz -C /tmp
在这里插入图片描述

grep命令：查找字符串

（28）从“～/.bashrc”文件中查找字符串’examples’
在这里插入图片描述

（29）请在“～/.bashrc”中设置，配置Java环境变量
在这里插入图片描述

（30）查看JAVA_HOME变量的值
在这里插入图片描述

（二）熟悉常用的Hadoop操作
（31）使用hadoop用户登录Linux系统，启动Hadoop（Hadoop的安装目录为“/usr/local/hadoop”），为hadoop用户在HDFS中创建用户目录“/user/hadoop”
在这里插入图片描述

（32）接着在HDFS的目录“/user/hadoop”下，创建test文件夹，并查看文件列表
在这里插入图片描述

（33）将Linux系统本地的“～/.bashrc”文件上传到HDFS的test文件夹中，并查看test
在这里插入图片描述

（34）将HDFS文件夹test复制到Linux系统本地文件系统的“/usr/local/hadoop”目录下
在这里插入图片描述

实验二 熟悉常用的HDFS操作

1.实验目的
  • 理解HDFS在Hadoop体系结构中的角色；
  • 熟练使用HDFS操作常用的Shell命令；
2.实验平台
  • 操作系统：Linux（建议Ubuntu16.04）；
  • Hadoop版本：2.7.1；
  • JDK版本：1.7或以上版本；
  • Java IDE：Eclipse。
3.实验步骤

（一）编程实现以下功能，并利用Hadoop提供的Shell命令完成相同任务：
（1）向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，则由用户来指定是追加到原有文件末尾还是覆盖原有的文件；

Shell命令：
追加到末尾

hadoop fs -appendToFile /usr/local/hadoop/test.txt /user/text.txt

覆盖原文件

hadoop fs -copyFromLocal -f /usr/local/hadoop/test.txt /user/text.txt

Java代码：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import java.io.*; 
public class HDFSApi {
    
      public static boolean test(Configuration conf, String path) throws IOException {
            FileSystem fs = FileSystem.get(conf);       
          return fs.exists(new Path(path)); 
    } 
        public static void copyFromLocalFile(Configuration conf, String localFilePath, String remoteFilePath) throws IOException {
    
        FileSystem fs = FileSystem.get(conf); 
        Path localPath = new Path(localFilePath); 
        Path remotePath = new Path(remoteFilePath);             fs.copyFromLocalFile(false, true, localPath, remotePath);      
   fs.close(); 
    } 
  public static void appendToFile(Configuration conf, String  localFilePath, String remoteFilePath) throws IOException {
    
        FileSystem fs = FileSystem.get(conf); 
        Path remotePath = new Path(remoteFilePath); 
        FileInputStream in = new FileInputStream(localFilePath); 
        FSDataOutputStream out = fs.append(remotePath); 
   byte[] data = new byte[1024];      
   int read = -1;         
while ( (read = in.read(data)) > 0 ) {
             	out.write(data, 0, read); 
        }         
out.close();         in.close();         fs.close(); 
    } 
public static void main(String[] args) {
    
 	 	Configuration conf = new Configuration();     conf.set("fs.default.name","hdfs://localhost:9000"); 
 	 	String localFilePath = "/home/hadoop/text.txt";   
 	 	String remoteFilePath = "/user/hadoop/text.txt";    
 	 	String choice = "append"；
	 	String choice = "overwrite";    	 
 	 	try {
     	 	 	 	 	
Boolean fileExists = false;  	 	 	
if (HDFSApi.test(conf, remoteFilePath)) {
     	 	 	 	
fileExists = true; 
 System.out.println(remoteFilePath + " 已存在.");  	
 	 } else {
    
 	 	 	 	System.out.println(remoteFilePath + " 不存在."); 
 	 	 	} 
 	 	 	if ( !fileExists) {
    // 文件不存在，则上传 
 	 	 	 	HDFSApi.copyFromLocalFile(conf, localFilePath, remoteFilePath); 
 	 	 	 	System.out.println(localFilePath + " 已上传至 " + remoteFilePath); 
 	 	 	} else if ( choice.equals("overwrite") ) {
       // 选择覆盖 
 	 	 	 	HDFSApi.copyFromLocalFile(conf, localFilePath, remoteFilePath); 
 	 	 	 	System.out.println(localFilePath + " 已覆盖 " + remoteFilePath); 
	 	} else if ( choice.equals("append") ) {
      // 选择追加 
 	 	 	 	HDFSApi.appendToFile(conf, localFilePath, remoteFilePath); 
 	 	 	 	System.out.println(localFilePath + " 已追加至 " + remoteFilePath); 
 	 	 	} 
 	 	} catch (Exception e) {
    
 	 	 	e.printStackTrace(); 
 	 	} 
 	} 
}

（2）从HDFS中下载指定文件，如果本地文件与要下载的文件名称相同，则自动对下载的文件重命名；

Shell命令：

if $(hadoop fs -test -e /usr/local/hadoop/test.txt);
then $(hadoop fs -copyToLocal /user/test.txt /usr/local/hadoop/test.txt); 
else $(hadoop fs -copyToLocal /user/test.txt /usr/local/hadoop/test2.txt);

Java代码：

Import org.apache.hadoop.conf.Configuration; 
import org.apache.hadoop.fs.*; 
import java.io.*; 
public class HDFSApi {
    
public 	static 	void 	copyToLocal(Configuration 	conf, 	String 	remoteFilePath, localFilePath) throws IOException {
    
      FileSystem fs = FileSystem.get(conf); 
        Path remotePath = new Path(remoteFilePath); 
        File f = new File(localFilePath); 
if(f.exists()) {
    
         	System.out.println(localFilePath + " 已存在.");          	
Integer i = 0;          	
while (true) {
             	 	
f = new File(localFilePath + "_" + i.toString());          	 	
if (!f.exists()) {
             	 	 	
localFilePath = localFilePath + "_" + i.toString(); 
         break; 
        }
} 
System.out.println("将重新命名为: " + localFilePath); ()); 
 }        Path localPath = new Path(localFilePath);       
 fs.copyToLocalFile(remotePath, localPath);       
 fs.close(); 
    } 
 	public static void main(String[] args) {
    
 	 	Configuration conf = new Configuration();     conf.set("fs.default.name","hdfs://localhost:9000"); 
 	 String localFilePath = "/home/hadoop/text.txt";    
String remoteFilePath = "/user/hadoop/text.txt";   
try {
    
 	HDFSApi.copyToLocal(conf, remoteFilePath, localFilePath); 
 	System.out.println("下载完成"); 
} catch (Exception e) {
    
 	e.printStackTrace(); 
}
}
}

（3）将HDFS中指定文件的内容输出到终端中；

Shell命令：

hadoop fs -cat text.txt

Java代码：

import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import java.io.*; 
 
public class HDFSApi {
    
    /** 
     * 读取文件内容 
     */ 
    public static void cat(Configuration conf, String remoteFilePath) throws IOException {
    
        FileSystem fs = FileSystem.get(conf); 
        Path remotePath = new Path(remoteFilePath); 
        FSDataInputStream in = fs.open(remotePath); 
        BufferedReader d = new BufferedReader(new InputStreamReader(in));         String line = null; 
        while ( (line = d.readLine()) != null ) {
    
         	System.out.println(line); 
        } 
       d.close();        in.close();        fs.close(); 
    } 
 	public static void main(String[] args) {
    
 	 	Configuration conf = new Configuration();     conf.set("fs.default.name","hdfs://localhost:9000");
String remoteFilePath = "/user/local/hadoop/text.txt";    // HDFS 路径
try {
    
 	System.out
最低0.47元/天 解锁文章
CoutCodes
关注
专栏目录
大数据处理实训项目整体介绍
Chasingyq的博客
07-05 1367
通过这些组件的集成和协同工作，Hadoop平台能够处理和分析大规模数据，实现从数据收集、存储到处理和发布的全流程自动化。Flume是一个分布式、可靠和高效的数据收集系统，广泛用于日志数据的聚合和传输。启动Flume代理，通过配置的管道收集和传输日志数据，实现日志数据的实时收集和分析。通过这些组件的紧密集成，Hadoop 平台能够高效处理和分析大规模数据，实现从数据收集、存储到处理和发布的全流程自动化。在安装完成后，更新系统并安装必要的软件包，如Java，这是Hadoop运行所需的依赖。
Hadoop课程实验和报告——Hadoop安装实验报告
06-30
Hadoop课程实验和报告——Hadoop安装实验报告
Hadoop平台实验报告
xwdreamer的专栏
06-10 1万+
1. 前言 通过基于MapReduce云计算平台的海量数据处理实验，我们了解了Hadoop的基本架构，已经如何编写MapReduce程序，本实验中我主要使用到的两个程序分别是WordCount（词频统计）和InvertedIndex（反向索引）。在将这两个程序之前，我会介绍我对Hadoop的理解。 2. Hadoop简介及特性 2.1. Hadoop分布式文件系统（HDFS） Hadoop
《大数据技术基础》实验1-实验7
最新发布
ebatudou的博客
01-16 1864
实验内容：根据课本中《大数据架构Hadoop》这一章末尾实验"安装Hadoop"完成实验内容。要求安装采用分布式安装，使用三台虚拟机完成。
Hadoop安装实验报告
热门推荐
weixin_44364897的博客
05-21 1万+
jdk安装以及Hadoop 安装
Hadoop云计算实验报告
06-14
在虚拟机Ubuntu上安装Hadoop单机模式和集群； 编写一个用Hadoop处理数据的程序，在单机和集群上运行程序。
第一次实验报告Hadoop
y的博客
05-20 8203
第一次实验报告Hadoop（三种模式安装配置） 实验步骤 一.将VMWare 12安装好并激活 二.安装CentOS7 三.SecureCRT安装 四.SecureCRT新建Session、修改外观 这四个软件的安装老师都给了参考的文档，所以只用按照老师给的文档和上网查阅资料就能完成。 接下来的操作在SecureCRT里面完成 五.JDK+Hadoop安装配置、单机模式配置 1.关闭防火墙 fir...
Hadoop搭建实验报告
08-02
NULL 博文链接：https://daxiangwanju.iteye.com/blog/1962175
Hadoop安装与配置，大数据实验报告英汉对照版
qq_64455589的博客
01-06 1056
本实验的主要目的是通过在Docker容器中部署Hadoop集群来验证Hadoop对HDFS(分布式文件系统)和MapReduce的支持。通过这个实验，我们的目的是深入了解Hadoop的配置、启动和验证过程，以及Hadoop集群在分布式环境下的工作方式。
Hadoop小结
MaynyWoody的博客
08-08 783
Google大数据技术：MapReduce、BigTable、GFS Hadoop：一个模仿Google大数据技术的开源实现 ​   HDFS的概念 数据块 磁盘中的关系： ​ HDFS同样也有块（block）的概念，但是大很多，默认为128MB。与单一磁盘上的文件系统相似，HDFS上的文件也被划分为块大小的多个分块（chunk），作为独立的存储单元。但与其他文件系统不同的是，HD...
Hadoop搭建及MR编程-实验报告
01-01
一、实验目的 1. 了解熟悉linux命令。 2. 学习hadoop的安装和配置。 3. 学习编写基础的MR代码。 二、实验内容 1. 建立hadoop 完全分布式模式。 2. 上传数据并且对数据进行查询。 3. 通过安装Hadoop了解Hadoop的原理
大数据hapdoop安装完整实验报告（包含结果图）
05-17
1.掌握Linux虚拟机安装方法或者双操作系统安装方法。Hadoop在Linux操作系统上运行可以发挥最佳性能，鉴于目前可能正在使用Windows操作系统，有必要通过本实验掌握在Windows操作系统上搭建Linux虚拟机的方法。 2.掌握Hadoop的伪分布式安装方法。需要在一台机器上模拟一个小的集群，因此，需要通过本实验掌握在单机上进行Hadoop的伪分布式安装方法。
使用hadoop实现WordCount实验报告.docx
06-10
使用hadoop实现WordCount详细实验报告，配有环境变量配置截图以及实验运行及结果详细过程描述与截图
Hadoop云计算实验报告.docx
03-19
Hadoop云计算实验报告
大数据实验报告.doc
05-30
实验一 Hadoop环境安装和使用 实验目的: 1、掌握linux系统的安装调试，熟悉linux的用户管理和软件安装相关命令，熟悉linux下软件的使用； 2、掌握Hadoop的安装调试和使用；
大数据技术基础实验报告-Linux环境下hadoop集群的搭建与基本配置.doc
08-21
【大数据技术基础实验报告-Linux环境下hadoop集群的搭建与基本配置】 实验主要涉及了大数据技术中的基础概念，包括Linux操作系统、Java环境、SSH服务、Hadoop集群的搭建与配置。以下是具体步骤和知识点的详细解释：...
大数据实验报告Hadoop编程实现wordcount单词统计程序附源码.doc
12-06
大数据实验报告 Hadoop 编程实现 wordcount 单词统计程序附源码 本实验报告旨在介绍使用 Hadoop 编程实现 wordcount 单词统计程序的步骤和代码实现。实验的目的在于熟悉 Hadoop 虚拟机的安装与环境的配置，初步理解...
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值