云计算技术 实验三 安装Hadoop系统并熟悉hadoop命令

参考资料为：

教材代码-林子雨编著《大数据基础编程、实验和案例教程（第2版）》教材所有章节代码_厦大数据库实验室博客

1.实验学时

4学时

2.实验目的

• 熟悉Hadoop系统的安装
• 掌握Hadoop系统的两种安装方式
• 掌握Hadoop系统的基本命令

3.实验内容

• 安装虚拟机和Linux环境。

虚拟机安装完毕:

已经改变虚拟机网络连接方式为桥接网络，使用手机热点连接计算机

环境为Linux系统

(二)参照实验指南的内容安装Hadoop系统，安装单机模式。

按照书上之前的配置，已经安装hadoop.

 

按照命令查看hadoop的例子

书上的例子统计对应的正则表达式.

书上的例子统计对应的正则表达式.

由此获得各个数字的统计数量。

(三)参照实验指南的内容安装Hadoop系统，安装伪分布式模式。

使用vim命令修改core-site.xml文件：

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

使用vim命令修改hdfs=site.xml文件：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

之后执行名称节点格式化：

成功安装伪分布模式。

(四)运行伪分布式模式，在网络页面上展示HDFS的信息。

虚拟机上网查看是否运行

 

 

发现运行成功。

(五)运行伪分布式模式的实例子。

复制文件：

复制成功之后的输出表：

运行hadoop自带的grep程序：

 

运行结果：

关闭hadoop:

4.思考题

（一）安装Hadoop的时候遇到什么问题？采用什么方法解决的？

1.安装的时候发现虚拟机无法上网，后面在电脑的网络共享中心配置虚拟机的.xof文件重装，然后使用手机热点连接虚拟机，在虚拟机的网络配置中手动增加主机的网络ip地址连接。

2.在不用使用hadoop时，需要自己手动打出命令stop-dfs.sh关闭hadoop，不然可能数据会丢失。