1. Hadoop简介
Hadoop是一个开源的分布式计算框架,最初由Apache软件基金会开发,旨在解决处理大规模数据的问题。它提供了一种可靠的、可扩展的分布式存储和处理大数据的解决方案。
1.Hadoop安装方法:
1.准备环境:
确保你的系统满足Hadoop的运行要求。通常情况下,Hadoop可以在Linux和Windows等操作系统上运行。
确保你的系统上已经安装了Java,并且配置了正确的Java环境变量。
2.下载Hadoop:
访问Apache Hadoop的官方网站(https://hadoop.apache.org/)下载最新版本的Hadoop压缩包。
或者,你也可以从Apache的镜像站点或者其他可信赖的资源下载Hadoop。
3.解压缩Hadoop:
将下载的Hadoop压缩包解压到你选择的目录中。你可以使用命令行或者图形界面工具进行解压操作。
4.配置Hadoop:
进入Hadoop解压后的目录,在etc/hadoop目录下找到各种配置文件,如core-site.xml、hdfs-site.xml等。
根据你的需求和系统环境,修改这些配置文件。主要的配置包括Hadoop集群的名称、HDFS的数据存储路径、YARN资源管理器的配置等。
你还需要设置一些环境变量,如HADOOP_HOME、JAVA_HOME等,以便系统能够正确识别Hadoop和Java的安装路径。
5.启动Hadoop:
执行Hadoop的启动脚本,通常是bin/hadoop目录下的start-all.sh脚本。这个脚本会启动Hadoop集群的各个组件,包括HDFS、YARN等。
确保没有错误信息出现,并且Hadoop的各个组件都成功启动。
6.验证安装:
打开浏览器,访问Hadoop的Web界面,通常是http://localhost:50070(HDFS界面)和http://localhost:8088(YARN界面)。
在这些界面上,你可以查看Hadoop集群的运行状态、节点信息等。
2.Hadoop集群的搭建和配置:
1.设置静态IP
(1)切换超级用户,命令:su
(2)固定IP
①查看并修改配置文件,命令:vi /etc/sysconfig/network-scripts/ifcfg-ens33
②点击键盘i键,更改当前编辑模式,切换为输入模式insert
③修改文件,如下:
3.设置防火墙:
防火墙实质是一个程序,它可以控制系统进来或者出去的流量。Centos7默认情况下,防火墙是开机自启的。在集群部署模式下,各个节点之间的进程要通信,为了方便,一般都要关闭防火墙。
(1)查看防火墙状态,命令:systemctl status firewalld
(2)关闭防火墙,命令:systemctl stop firewalld
(3)查看防火墙是否开机自启,命令:systemctl is-enabled firewalld
①enabled
:表示开机自启
②disabled
:表示开机不自启
4. 设置主机名
简单理解,给机器起一个名字。一般在集群当中,都是通过配置主机名来和其他节点通信,所以需要改下机器的名字。命令:hostnamectl set-hostname 804787-hadoop01
localhost,指的是本地主机的意思,使用logout命令登出,再重新登录,用户名已经改变
5.设置主机名和IP的映射
在网络中,可以通过IP通信,因此,在集群中,如果想要通过主机名通信,则还要设置IP来与之对应,类似于域名要绑定IP。
使用vi命令编辑/etc/hosts文件(一般ip+主机就行,不需要第三段,如192.168.203.200 master),设置如下图所示:
6.安装JAVA
(1)使用命令,java -version
,检查原本系统自带jdk
(2)卸载自带jdk,命令:rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps
。解析:
rpm -qa
:查询所安装的所有rpm软件包
grep -i
:忽略大小写(JAVA,java,Java)
xargs -n1
:每次只传递一个参数
rpm -e -nodeps
:强制卸载软件
(3)拖拽方式,上传安装包到Linux的/opt目录下:
(4)使用cd命令进入/opt并解压文件到/opt下,命令:tar -xzvf jdk-8u221-linux-x64.tar.gz -C /opt
,解析:
tar
:主命令,用于文件归档和压缩的工具。
-xzvf
:tar命令的选项
x
: 指解压操作(extract)
z
: 指解压.gz文件等
v
: 指详细模式(verbose),在解压过程中,会显示正在处理的文件名
f
: 指文件名(file),tar命令后面会跟随要处理的文件名
jdk-8u221-linux-x64.tar.gz
: 要解压的文件的名称
-C
: 指更改目录(change directory),在解压前首先切换到指定的目录。
/opt
: 要切换到的目录
(5)使用cd命令进入到jdk解压后文件夹,用pwd
查看路径,并使用鼠标复制路径/opt/jdk1.8.0_221
(6)在/etc/profile.d下创建一个my_env.sh,进行配置JAVA环境变量,命令:vi /etc/profile.d/my_env.sh
(新文件)
(7)重新启动profile,命令:source /etc/profile
(8)验证java是否安装成功:java -version
7. 安装Hadoop
(1)上传文件
(2)使用cd命令进入文件所在路径,再解压安装,命令:tar -xzvf hadoop-3.1.3.tar.gz -C /usr/local
(3)配置环境变量,同JAVA,在/etc/profile.d修改my_env.sh
(4)使用cd命令,进入/usr/local/hadoop-3.1.3/etc/hadoop,配置vi hadoop-env.sh
,在末尾加上2句
(5)重启profile,命令:source /etc/profile
(6)使用命令hadoop version检查是否安装成功
总结
1.Hadoop的安装和配置需要按照一定的步骤进行,包括环境准备、软件下载、配置文件修改等。
2.在集群搭建过程中,要注意设置静态IP、关闭防火墙等,以确保节点之间的正常通信。
3.安装过程中需要配置JAVA和Hadoop的环境变量,以确保系统能够正确识别和运行相关软件。