Hadoop生态体系技术:
1.Linux系统的搭建(简要注意事项):
-
检查系统要求:在安装之前,确保你的硬件符合所选Linux发行版的最低系统要求,包括处理器、内存、硬盘空间等。这将确保系统能够顺利安装和运行。
-
密码和用户管理:在安装过程中设置root用户的密码,并考虑创建一个普通用户帐户以提高安全性。使用sudo来进行特权操作,而不是直接使用root帐户。
-
网络配置:确保在安装后正确配置网络设置,包括IP地址、子网掩码、网关和DNS服务器。这将确保系统能够连接到互联网和局域网。
在Linux系统搭建中 第一步我们需要下载与安装VMWare 第二步是VMWare部署和Centos的加载
第三步是虚拟机的网络配置 (在进行网络配置时 我们需要修改静态ip 这个静态ip 是我们此电脑的
ip地址 有些同学容易将工单上的ip地址输入进去 导致网络配置失败)查看我们的NAT模式网段 需
要修改相应的参数(注:这里的参数是 我们查看NAT模式网段里的 参数)修改后重启我们的网络配置 再进行修改主机名
第四步是SSH工具的部署与使用 这里我们需要先下载SSH工具和安装FinalShell 工具 然后与虚拟机进行连接 (连接的ip地址是 对应每台虚拟机的ip地址)
第五步是修改我们的配置文件和免密配置 首先需要修改hosts文件 再进行免密设置 最后是时间同步
2.Hadoop集群搭建与部署
在进行集群搭建和部署中 我们首先需要进行jdk的安装和配置 (我们需要在我们的文件下 创建pack和servers
分别用于存放下载的jdk 和解压后的jdk
核心代码:mkdir /export/pack
核心代码:tar -zxvf jdk-8u144-linux-x64.tat.gz -C ../servers/
然后在分别进行配置环境变量
第二就是我们的hadoop的安装与配置(注:hadoop安装与配置与jdk安装一样的安装方法 如上所述所示)
最后是修改hadoop配置文件 与拷贝
核心代码:vim hadoop-env.sh
同理修改其他的配置文件
拷贝Hadoop所有文件 相关代码如下:
核心代码:scp -r hadoop-3.2.2 /root@hadoop02:/export/servers/ (拷贝配置文件)
核心代码:scp /etc/profile root@hadoop02:/etc/profile (拷贝环境变量文件)