Hadoop入门(七)——Hadoop安装(图文详解步骤2021)

Hadoop入门(七)——Hadoop安装(图文详解步骤2021)

系列文章传送门

这个系列文章传送门:
Hadoop入门(一)——CentOS7下载+VM上安装(手动分区)图文步骤详解(2021)
Hadoop入门(二)——VMware虚拟网络设置+Windows10的IP地址配置+CentOS静态IP设置(图文详解步骤2021)
Hadoop入门(三)——XSHELL7远程访问工具+XFTP7文件传输(图文步骤详解2021)
Hadoop入门(四)——模板虚拟机环境准备(图文步骤详解2021)
Hadoop入门(五)——Hadoop集群搭建-克隆三台虚拟机(图文步骤详解2021)
Hadoop入门(六)——JDK安装(图文步骤详解2021)
Hadoop入门(七)——Hadoop安装(图文详解步骤2021)
Hadoop入门(八)——本地运行模式+完全分布模式案例详解,实现WordCount和集群分发脚本xsync快速配置环境变量 (图文详解步骤2021)
Hadoop入门(九)——SSH免密登录 配置
Hadoop入门(十)——集群配置(图文详解步骤2021)
Hadoop入门(十一)——集群崩溃的处理方法(图文详解步骤2021)
Hadoop入门(十二)——配置历史服务器及日志的聚集(图文详解步骤2021)
Hadoop入门(十三)——集群常用知识(面试题)与技巧总结
Hadoop入门(十四)——集群时间同步(图文详解步骤2021)
Hadoop入门(十五)——集群常见错误及解决方案

在 hadoop102 安装 Hadoop

Hadoop 下载地址:https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/
在这里插入图片描述

1 ) 用 XShell 文件传输 工具将 hadoop-3.1.3.tar.gz 导入到 opt 目录下面的 software 文件夹下面

注:我在上一篇文章中将hadoop与jdk一起导入了,如果按照我上一篇文章一步步做的就不需要做这一步了

在这里插入图片描述

2 ) 进入到 Hadoop 安装包路径下

[leokadia@hadoop102 ~]$ cd /opt/software/

3 ) 解压安装文件到/opt/module 下面

[leokadia@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/
在这里插入图片描述

4 ) 查看是否解压成功

[leokadia@hadoop102 software]$ ls /opt/module/
hadoop-3.1.3
在这里插入图片描述

5 )进入hadoop

进入hadoop解压位置
[leokadia@hadoop102 software]$ cd ..
[leokadia@hadoop102 opt]$ cd module
[leokadia@hadoop102 module]$ ll

总用量 0
drwxr-xr-x. 9 leokadia leokadia 149 9月  12 2019 hadoop-3.1.3
drwxr-xr-x. 7 leokadia leokadia 245 4月   2 2019 jdk1.8.0_212

在这里插入图片描述
进入hadoop-3.1.3
[leokadia@hadoop102 module]$ cd hadoop-3.1.3
在这里插入图片描述

6 ) 将 Hadoop 添加到环境变量

(1)获取 Hadoop 安装路径
[leokadia@hadoop102 hadoop-3.1.3]$ pwd
/opt/module/hadoop-3.1.3
(2)打开/etc/profile.d/my_env.sh 文件
[leokadia@hadoop102 hadoop-3.1.3]$ sudo vim /etc/profile.d/my_env.sh
➢ 在 my_env.sh 文件末尾添加如下内容:(shift+g)

#HADOOP_HOME 
export HADOOP_HOME=/opt/module/hadoop-3.1.3 
export PATH=$PATH:$HADOOP_HOME/bin 
export PATH=$PATH:$HADOOP_HOME/sbin 

➢ 保存并退出: :wq

在这里插入图片描述

(3)让修改后的文件生效
[leokadia@hadoop102 hadoop-3.1.3]$ source /etc/profile

6 ) 测试是否安装成功

[leokadia@hadoop102 hadoop-3.1.3]$ hadoop version
Hadoop 3.1.3
在这里插入图片描述
在这里插入图片描述

7 ) 重启 ( 如果 Hadoop 命令不能用 再重启 虚拟机 )

[leokadia@hadoop102 hadoop-3.1.3]$ sudo reboot
在这里插入图片描述

拓展: Hadoop 目录 结构

在这里插入图片描述

1 ) 查看 Hadoop 目录结构

[leokadia@hadoop102 hadoop-3.1.3]$ ll

总用量 176
drwxr-xr-x. 2 leokadia leokadia    183 9月  12 2019 bin
drwxr-xr-x. 3 leokadia leokadia     20 9月  12 2019 etc
drwxr-xr-x. 2 leokadia leokadia    106 9月  12 2019 include
drwxr-xr-x. 3 leokadia leokadia     20 9月  12 2019 lib
drwxr-xr-x. 4 leokadia leokadia    288 9月  12 2019 libexec
-rw-rw-r--. 1 leokadia leokadia 147145 9月   4 2019 LICENSE.txt
-rw-rw-r--. 1 leokadia leokadia  21867 9月   4 2019 NOTICE.txt
-rw-rw-r--. 1 leokadia leokadia   1366 9月   4 2019 README.txt
drwxr-xr-x. 3 leokadia leokadia   4096 9月  12 2019 sbin
drwxr-xr-x. 4 leokadia leokadia     31 9月  12 2019 share

2 ) 重要目录

  • (1)bin 目录:存放对 Hadoop 相关服务(hdfs,yarn,mapred)进行操作的脚本
  • (2)etc 目录:Hadoop 的配置文件目录,存放 Hadoop 的配置文件
  • (3)lib 目录:存放 Hadoop 的本地库(对数据进行压缩解压缩功能)
  • (4)sbin 目录:存放启动或停止 Hadoop 相关服务的脚本
  • (5)share 目录:存放 Hadoop 的依赖 jar 包、文档、和官方案例
  • 97
    点赞
  • 700
    收藏
    觉得还不错? 一键收藏
  • 38
    评论
二手房统计分析是一个基于Hadoop的综合项目,旨在帮助人们深入了解二手房市场情况并进行相应的统计分析。 首先,我们需要收集大量的二手房交易数据。可以从不同的渠道收集数据,如网络房产平台、中介公司等。通过使用Hadoop的分布式文件系统(HDFS),可以将这些数据存储在集群中的多个节点上,以便后续的处理和分析。 然后,需要对收集到的数据进行清洗和预处理。这包括去除重复数据、处理缺失值和异常值等。通过使用Hadoop的MapReduce框架,可以将清洗和预处理任务并行化处理,以提高处理效率和准确性。 接下来,可以进行一些常见的统计分析。比如,可以计算不同城市二手房价格的平均值、中位数和标准差,以了解各个城市的房价水平和波动程度。同样地,还可以计算不同地区的交易量和均价,以找到二手房交易的热点区域。 此外,也可以进行数据可视化的工作,以方便人们更直观地理解二手房市场情况。通过使用Hadoop的数据处理工具和可视化库,如Hive和Tableau,可以将统计分析的结果以图表或地图的形式展示出来。 最后,还可以通过机器学习技术进行更深入的分析。比如,可以建立预测模型来预测二手房价格,或者进行聚类分析找到不同类型的二手房市场。通过使用Hadoop的机器学习库,如Spark MLlib,可以更高效地处理大规模的数据和模型训练。 总之,通过Hadoop的分布式计算和数据处理能力,二手房统计分析项目可以帮助人们更好地了解二手房市场情况,并提供相应的统计和预测分析,以支持人们做出更明智的决策。
评论 38
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值