第一篇：hadoop技术

Hadoop生态体系技术：

1.Linux系统的搭建（简要注意事项）：

1. 检查系统要求：在安装之前，确保你的硬件符合所选Linux发行版的最低系统要求，包括处理器、内存、硬盘空间等。这将确保系统能够顺利安装和运行。

2. 密码和用户管理：在安装过程中设置root用户的密码，并考虑创建一个普通用户帐户以提高安全性。使用sudo来进行特权操作，而不是直接使用root帐户。

3. 网络配置：确保在安装后正确配置网络设置，包括IP地址、子网掩码、网关和DNS服务器。这将确保系统能够连接到互联网和局域网。

在Linux系统搭建中 第一步我们需要下载与安装VMWare 第二步是VMWare部署和Centos的加载

第三步是虚拟机的网络配置 （在进行网络配置时 我们需要修改静态ip 这个静态ip 是我们此电脑的

ip地址 有些同学容易将工单上的ip地址输入进去 导致网络配置失败）查看我们的NAT模式网段 需

要修改相应的参数（注：这里的参数是 我们查看NAT模式网段里的 参数）修改后重启我们的网络配置 再进行修改主机名  

第四步是SSH工具的部署与使用  这里我们需要先下载SSH工具和安装FinalShell 工具  然后与虚拟机进行连接 （连接的ip地址是 对应每台虚拟机的ip地址）

第五步是修改我们的配置文件和免密配置  首先需要修改hosts文件  再进行免密设置 最后是时间同步

2.Hadoop集群搭建与部署

在进行集群搭建和部署中 我们首先需要进行jdk的安装和配置 （我们需要在我们的文件下 创建pack和servers

分别用于存放下载的jdk 和解压后的jdk

核心代码：mkdir /export/pack

核心代码：tar -zxvf jdk-8u144-linux-x64.tat.gz -C ../servers/

然后在分别进行配置环境变量

第二就是我们的hadoop的安装与配置（注：hadoop安装与配置与jdk安装一样的安装方法 如上所述所示）

最后是修改hadoop配置文件 与拷贝 

核心代码：vim hadoop-env.sh

同理修改其他的配置文件

拷贝Hadoop所有文件 相关代码如下：

核心代码：scp -r hadoop-3.2.2 /root@hadoop02:/export/servers/ （拷贝配置文件）

核心代码：scp /etc/profile root@hadoop02：/etc/profile （拷贝环境变量文件）