大数据实验报告【全集】

所用教材↑,配套PPT厦门大学林子雨配套MOOC内容和书里的内容差不多。

【意味着课上不好好听,课下你还能看教科书补(╹ڡ╹ )】建议先实验再听课或看书。

若对你有帮助的话,记得点赞、关注我哦!实验中遇到不少困难,故本文较长,请耐心阅览!

B站同名up猪,欢迎关注我的账号鸽子不二的个人空间-鸽子不二个人主页-哔哩哔哩视频哔哩哔哩鸽子不二的个人空间,提供鸽子不二分享的视频、音频、文章、动态、收藏等内容,关注鸽子不二账号,第一时间了解UP主动态。icon-default.png?t=N7T8https://space.bilibili.com/204913846

博客总领目录请看这篇,绝对干货中的干货

软件工程专业大学四年学什么_大学近代史学分是多少-CSDN博客icon-default.png?t=N7T8https://blog.csdn.net/qq_41587612/article/details/104362661

实验标题:①安装Hadoop;②HDFS编程(安装);③HDFS编程;④Mapreduce编程

大数据类开放在线实践课程(能模拟实验,推荐):头歌实践教学平台

◉ 实验中用到的Linux命令:

cd /home/hadoop #把/home/hadoop设置为当前目录
cd .. #返回上一级目录
cd ~ #进入到当前Linux系统登录用户的主目录(或主文件夹)。在 Linux 系统中,~代表的是用户的主文件夹,
#即“/home/用户名”这个目录,如果当前登录用户名为 hadoop,则~就代表“/home/hadoop/”这个目录
ls #查看当前目录中的文件
ls -l #查看文件和目录的权限信息
mkdir input #在当前目录下创建input子目录
mkdir -p src/main/scala #在当前目录下,创建多级子目录src/main/scala
cat /proc/version #查看Linux系统内核版本信息
cat /home/hadoop/word.txt #把/home/hadoop/word.txt这个文件全部内容显示到屏幕上
cat file1 file2 > file3 #把当前目录下的file1和file2两个文件进行合并生成文件file3
head -5 word.txt #把当前目录下的word.txt文件中的前5行内容显示到屏幕上
cp /home/hadoop/word.txt /usr/local/ #把/home/hadoop/word.txt文件复制到“/usr/local”目录下
rm ./word.txt #删除当前目录下的word.txt文件
rm –r ./test #删除当前目录下的test目录及其下面的所有文件
rm –r test* #删除当面目录下所有以test开头的目录和文件

tar -zxf ~/下载/spark-2.1.0.tgz -C /usr/local/ #把spark-2.1.0.tgz这个压缩文件解压到/usr/local目录下
mv spark-2.1.0 spark #把spark-2.1.0目录重新命名为spark
chown -R hadoop:hadoop ./spark # hadoop是当前登录Linux系统的用户名,把当前目录下的spark子目录的所有权限,
#赋予给用户hadoop
ifconfig #查看本机IP地址信息
exit #退出并关闭Linux终端

◉ Vim编辑器命令:

sudo apt-get install vim
vim word.txt
按Esc退出编辑   i编辑
:x 或 :wq 回车,保存后退出
:q 回车,不保存并退出
:q! 回车,不保存并强制退出

每次重新启动虚拟机,或者在不同的地方(实验室或者宿舍)启动虚拟机,IP地址都可能会发生变化,所以每次登录Ubuntu系统以后,都需要重新查询IP地址 = “inet地址”。

◉ virtual box怎么全屏显示?

 启动Linux系统后,在虚拟机窗口的“设备”处选择“安装增强功能”,点击“运行”后会弹出授权窗体,安装后即可全屏。

一阵子不用虚拟机就忘怎么操作。

◉ 关于Linux下JDK:

$ which java 查看JDK的安装路径/usr/java/jdk/jdk1.8.0_172/

$ rm -rf /usr/java/jdk/jdk1.8.0_172/ 卸载JDK,并如下图所示,在~/.bashrc文件中把相关JAVA_HOME的配置信息删除。

$ java -version$ java$ javac 检查JDK版本,即检查是否存在JDK

始终无法自如更换JDK版本,网上多半说的是这种方法:ubuntu 更换指定jdk版本,java -version没有变新jdk版问题_ubuntu java升级,版本没变-CSDN博客

我觉得我的方法更简单 ↓

实验一 安装Hadoop(黑字基本都是废话,往下拉有推荐链接和我踩过的坑

一、实验目的

   1. 掌握Linux虚拟机安装方法或者双操作系统安装方法。Hadoop在Linux操作系统上运行可以发挥最佳性能,鉴于目前很多读者可能正在使用Windows操作系统,因此,为了完成本书的后续实验,这里有必要通过本实验让读者掌握在Windows操作系统上搭建Linux虚拟机的方法,以及安装双操作系统的方法(同时安装Windows和Linux系统,电脑开机时,可以选择登录哪个系统)。

   2. 掌握Hadoop的伪分布式安装方法。很多读者并不具备集群环境,需要在一台机器上模拟一个小的集群,因此,需要通过本实验让读者掌握在单机上进行Hadoop的伪分布式安装方法。

(实验一就是让伪分布式安装Hadoop,我见有些同学用Win10的Linux子系统(不装虚拟机和双系统的方法)来做此实验,也不失为一种很好的选择,推荐这篇博文:手把手教你启用Win10的Linux子系统(超详细)手把手教你启用Win10的Linux子系统(超详细)_win10linux子系统-CSDN博客

二、实验平台

       操作系统:Windows系统或者Ubuntu(或CentOS7)。

       虚拟机软件:推荐使用的开源虚拟机软件为VirtualBox 。VirtualBox是一款功能强大的免费虚拟机软件,它不仅具有丰富的特色,而且性能也很优异,简单易用,可虚拟的系统包括Windows、Mac OS X、Linux、OpenBSD、Solaris、IBM OS2甚至Android 4.0系统等操作系统。读者可以在Windows系统上安装VirtualBox软件,然后在VirtualBox上安装并且运行Linux操作系统。本次实验默认的Linux发行版为Ubuntu14.04。

三、实验内容和要求

       读者需要构建起Linux系统环境,并在Linux系统上安装Hadoop。

       构建Linux系统环境,有两种方式:(1)在Windows系统上安装Linux虚拟机;(2)安装双操作系统,即在电脑上同时安装Windows和Linux系统,电脑开机时,可以选择登录哪个系统。

       建议电脑比较新或者配置内存4G以上的电脑可以选择虚拟机安装,电脑较旧或配置内存小于等于4G的电脑强烈建议选择双系统安装,否则,在配置较低的计算机上运行LInux虚拟机,系统运行速度会非常慢。鉴于目前读者的计算机硬件配置一般不高,建议采用双系统安装。

        建议读者在完成下列实验之前,仔细阅读网络教程:林子雨老师的blog是我目前看到最简洁明了的,务必看!

      2015年出的教程:大数据技术原理与应用 第二章 大数据处理架构Hadoop 学习指南_厦大数据库实验室博客 

      针对3.1.3新版出的教程:Hadoop3.1.3安装教程_单机/伪分布式配置_Hadoop3.1.3/Ubuntu18.04(16.04)_厦大数据库实验室博客

        注意:Hadoop版本不同,操作方式会有些许不同!

3.1 下载相关软件

        如果读者正在使用Linux操作系统,可以跳过本步,不需要下载相关软件。如果读者正在使用Windows操作系统,并且选择虚拟机方式安装Linux系统,请下载VirtualBox虚拟机软件和Ubuntu14.04镜像文件。同时到Apache Hadoop官网下载Hadoop2.7.1版本安装文件。

3.2 安装Linux系统

        读者可以选择下面两种方式中的一种方式来安装Linux系统。

3.2.1 虚拟机方式

        如果读者正在使用Linux操作系统,则不需要了解Windows系统上的Linux虚拟机安装方法。如果读者正在使用Windows操作系统,则需要在Windows系统上安装Linux虚拟机。首先,在Windows系统上安装虚拟机软件VirtualBox;然后,在虚拟机软件VirtualBox上安装Ubuntu14.04操作系统。

3.2.2 双系统方式

        在电脑上同时安装Windows和Linux系统,电脑开机时,可以选择登录哪个系统。可以参考“百度经验”中的安装指南。

        第一步:制作安装U盘

        根据下面指南,在一个U盘上制作启动安装盘,然后,电脑启动后,就可以从U盘启动安装Ubuntu系统。

        http://jingyan.baidu.com/article/59703552e0a6e18fc007409f.html

        第二步:双系统安装

        请根据下面指南完成双系统安装:

        http://jingyan.baidu.com/article/dca1fa6fa3b905f1a44052bd.html

3.3 进行Hadoop伪分布式安装

        在Linux环境下完成伪分布式环境的搭建,并运行Hadoop自带的WordCount实例检测是否运行正常。


我的配置:Ubuntu18.04.3LST + Hadoop3.1.3 + JDK-Linux-14.0.1

我踩过的坑:namenode格式化后,既没有Data文件夹,也无法启动DataNode进程

明明按照林子雨老师的步骤一步步做的o(≧口≦)o 很多同学都没有遇到我这类问题,是人品的关系吗。。。

但我的输出结果如下 ↓

用林子雨老师的方法无效

百度失败

尝试Hadoop2.7.7(有些同学就没问题)不仅没有DataNode和SecondaryNameNode还报错 _(:з)∠)_

终于迎来了问题的突破口!

我看了这篇文章,文末解决了我的问题:https://www.cnblogs.com/zhangyinhua/p/7647686.html#_label0

问题解决后的运行结果 ↓

验证Hadoop是否启动成功?

以前的版本访问MapReduce的页面:http://localhost:50030  HDFS的页面:http://localhost:50070        

3.x的版本访问Hadoop Administration:http://localhost:9870

实验二 HDFS编程

一、实验目的

      熟悉HDFS操作常用的Java API。

二、实验平台

      操作系统:Linux

      Hadoop版本:2.6.0或以上版本

      JDK版本:1.6或以上版本

      Java IDE:Eclipse

三、实验内容和要求

      在完成以下实验之前,请认真阅读“大数据课程学生服务站”的学习指南栏目中的相关内容,具体请参见《大数据技术原理与应用 第三章 Hadoop分布式文件系统 学习指南》,

      2015年出的教程: 大数据技术原理与应用 第三章 分布式文件系统HDFS 学习指南_厦大数据库实验室博客

      2020年出的教程:HDFS编程实践(Hadoop3.1.3)_厦大数据库实验室博客

  1. 编写一个Java程序,打开一个HDFS中的文件,并读取其中的数据,输出到标准输出;
  2. 编写一个Java程序,新建一个HDFS文件,并向其中写入你的名字;
  3. 编写一个Java程序,判断HDFS上是否存在某个文件?

      要求:在实验报告中,给出实验过程的一些必要截图,并附上源代码。


装Ubuntu时警告10G磁盘空间快见底了,我还没装什么软件呐。。。

我参考了这些文章:

VirtualBox 扩展虚拟硬盘容量 VirtualBox 扩展虚拟硬盘容量-CSDN博客

注*:我$partprobe会报Warning,在别的博文里看到:使用partprobe重载分区只能是对不同的硬盘才能及时生效。对于同一块硬盘,修改过分区信息后,必须重启系统才能使修改过的分区信息生效。

控制器SATA和IDE是什么? 请问SATA和IDE是什么意思?_百度知道

VBOX UBUNTU虚拟机扩容方案 虚拟分配空间转换为实际分配空间 将新开辟的/dev/sda2挂载到用户下面vbox ubuntu虚拟机扩容方案 虚拟分配空间转换为实际分配空间 - 灰信网(软件开发博客聚合)

VMware+Ubuntu18.04 磁盘扩容 用GParted工具将/dev/sda1与/dev/sda2合并VMware+Ubuntu18.04 磁盘扩容_vmware ubuntu 18.04 扩容磁盘-CSDN博客

我用了最后一篇的方法,主要是简单,还有我不知道挂载到用户下面的/dev/sda2怎么用(怎么改软件默认下载路径)。

        挂载是指给磁盘分区(包括被虚拟出来的磁盘分区)分配一个盘符。在第三方软件,如磁盘分区管理软件、虚拟磁盘软件中,也附带有挂载功能。在linux操作系统中,挂载是指将一个设备(通常是存储设备)挂接到一个已存在的目录上。我们要访问存储设备中的文件,必须将文件所在专的分区挂载到一个已存在的目录上,然后通过访问这个目属录来访问存储设备。

        

        新版Ubuntu自带“磁盘”工具,和另外下载的GParted功能一样,所以也可以不下载GParted。

我又踩坑了:没注意看上半部分教程,搞了半天没理解/user/hadoop目录哪来的?5个文件怎么被执行?所以一定要认真看林子雨老师的教程 ↓

林子雨老师给的示例:在目录“hdfs://localhost:9000/user/hadoop”下先上传5个文件file1.txt、file2.txt、file3.txt、file4.abc和file5.abc,要求从该目录中过滤出所有后缀名不为“.abc”的文件,对过滤之后的文件进行读取,并将这些文件的内容合并到文件“hdfs://localhost:9000/user/hadoop/merge.txt”中。

示例结果:

实验结果:

把 f.txt 先上传到HDFS的“/user/”目录下

①只读取了一行,想全部读取可以写个for循环。

②把全部内容改写成“Hello world”。

③检查文件是否存在。

实验三 HBase编程

一、实验目的

        1. 理解HBase在Hadoop体系结构中的角色;

        2. 熟练使用HBase操作常用的Shell命令;

        3. 熟悉HBase操作常用的Java API。

二、实验平台

        操作系统:Linux

        Hadoop版本:2.6.0或以上版本

        HBase版本:1.1.2或以上版本

        JDK版本:1.6或以上版本

        Java IDE:Eclipse

三、实验内容和要求

我的配置:Ubuntu18.04.3LST + Hadoop3.1.3 + JDK-Linux-14.0.1 + HBase-2.2.5

        2020年出的教程:HBase2.2.2安装和编程实践指南_厦大数据库实验室博客

        1. 根据上面给出的表格,用Hbase Shell模式设计student学生表格。

            a)设计完后,用scan指令浏览表的相关信息,给出截图。

            b)查询zhangsan 的Computer成绩。给出截图。

            c)修改lisi的Math成绩,改为95。给出截图。

        2. 根据上面已经设计出的student,用Hbase API编程。

            a)添加数据:English:45 Math:89 Computer:100

            b)获取scofield的English成绩信息 


命令'vim'可在'usr/bin/vi/处找到 由于/usr/bin不在PATH环境变量中,故无法找到该命令。

命令'lesspipe'可在以下位置找到... 由于/bin:/usr/bin不在PATH环境变量中,故无法找到该命令。

解决方法:检查 ~/.bashrc 文件,路径是否写对。

一定要记得关HBase和Hadoop,不然再次打开时就会报错!

在HBase shell中出现error: KeeperErrorCode = NoNode for /hbase/master

参考:在hbase shell中出现error: KeeperErrorCode = NoNode for /hbase/master-CSDN博客

解决方法:在没有重要文件得情况下,删除tmp文件夹,重新初始化

实验代码:

import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Admin;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Table;
 
public class hbase_insert {

      //三个静态成员对象
	  public static Configuration configuration;//管理HBase的配置信息
      public static Connection connection;//管理HBase的连接
      public static Admin admin;  //管理HBase数据库的表信息
	public static void main(String[] args) {
		// TODO Auto-generated method stub
		 configuration  = HBaseConfiguration.create();//使用默认的HBase配置文件创建configuration          configuration.set("hbase.rootdir","hdfs://localhost:9000/hbase");//连接hbase
         try{
             connection = ConnectionFactory.createConnection(configuration);
             admin = connection.getAdmin();
         }catch (IOException e){
             e.printStackTrace();
         }
         try {//插入的信息
			insertRow("student","scofield","score","English","45");
			insertRow("student","scofield","score","Math","89");
			insertRow("student","scofield","score","Computer","100");
		} catch (IOException e) {//异常处理
			// TODO Auto-generated catch block
			e.printStackTrace();
		}
         close();
	}
	 public static void insertRow(String tableName,String rowKey,String colFamily,
			 String col,String val) throws IOException {
         Table table = connection.getTable(TableName.valueOf(tableName));
         Put put = new Put(rowKey.getBytes());
         put.addColumn(colFamily.getBytes(), col.getBytes(), val.getBytes());
         table.put(put);
         table.close();
     }
      //关闭连接
	  public static void close(){
            try{
                if(admin != null){
                    admin.close();
                }
                if(null != connection){
                    connection.close();
                }
            }catch (IOException e){
                e.printStackTrace();
            }
     }
}

实验结果:

参考:大数据——四种数据库(MySQL,HBase,MongoDB,Redis)操作实例总结大数据——四种数据库(MySQL,HBase,MongoDB,Redis)操作实例总结-CSDN博客

先开Hadoop→HBase(最不方便的是中途你最好不要写错一个字,不然很容易报错)→先关HBase→Hadoop

① 用Hbase Shell模式设计student学生表格,用scan指令浏览表的相关信息

②查询 zhangsan 的Computer成绩

③修改 lisi 的Math成绩,改为95

④用Hbase API编程,添加数据:English:45 Math:89 Computer:100

⑤获取 scofield 的English成绩信息

实验四 MapReduce编程

一、实验目的

        1. 理解Hadoop中MapReduce模块的处理逻辑

        2. 熟悉MapReduce编程

二、实验平台

        操作系统:Linux

        工具:Eclipse或者Intellij Idea等Java IDE

三、实验内容和要求

      2020年出的教程:MapReduce编程实践(Hadoop3.1.3)_厦大数据库实验室博客

        1. 在电脑上新建文件夹input,并input文件夹中创建三个文本文件:file1.txt,file2.txt,file3.txt

            三个文本文件的内容分别是:

            file1.txt: hello dblab world

            file2.txt: hello dblab hadoop

            file3.txt: hello mapreduce

        2. 启动hadoop伪分布式,将input文件夹上传到HDFS上

        3. 编写mapreduce程序,实现单词出现次数统计。统计结果保存到hdfs的output文件夹。

        4. 获取统计结果(给出截图或相关结果数据)


实验代码:

import java.io.IOException;
import java.util.Iterator;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;

public class WordCount {
    public WordCount() {
    }
     public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        String[] otherArgs = (new GenericOptionsParser(conf, args)).getRemainingArgs();
        if(otherArgs.length < 2) {
            System.err.println("Usage: wordcount <in> [<in>...] <out>");
            System.exit(2);
        }
        Job job = Job.getInstance(conf, "word count");
        job.setJarByClass(WordCount.class);
        job.setMapperClass(WordCount.TokenizerMapper.class);
        job.setCombinerClass(WordCount.IntSumReducer.class);
        job.setReducerClass(WordCount.IntSumReducer.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class); 
        for(int i = 0; i < otherArgs.length - 1; ++i) {
            FileInputFormat.addInputPath(job, new Path(otherArgs[i]));
        }
        FileOutputFormat.setOutputPath(job, new Path(otherArgs[otherArgs.length - 1]));
        System.exit(job.waitForCompletion(true)?0:1);
    }
    public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> {
        private static final IntWritable one = new IntWritable(1);
        private Text word = new Text();
        public TokenizerMapper() {
        }
        public void map(Object key, Text value, Mapper<Object, Text, Text, IntWritable>.Context context) throws IOException, InterruptedException {
            StringTokenizer itr = new StringTokenizer(value.toString()); 
            while(itr.hasMoreTokens()) {
                this.word.set(itr.nextToken());
                context.write(this.word, one);
            }
        }
    }
public static class IntSumReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
        private IntWritable result = new IntWritable();
        public IntSumReducer() {
        }
        public void reduce(Text key, Iterable<IntWritable> values, Reducer<Text, IntWritable, Text, IntWritable>.Context context) throws IOException, InterruptedException {
            int sum = 0;
            IntWritable val;
            for(Iterator i$ = values.iterator(); i$.hasNext(); sum += val.get()) {
                val = (IntWritable)i$.next();
            }
            this.result.set(sum);
            context.write(key, this.result);
        }
    }
}

实验结果:

①编写mapreduce程序,实现单词出现次数统计。

②在电脑上新建文件夹input,并input文件夹中创建三个文本文件:file1.txt,file2.txt,file3.txt,启动hadoop伪分布式,将input文件夹上传到HDFS上

③统计结果保存到hdfs的output文件夹。

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值