第一篇:hadoop技术

Hadoop生态体系技术:

1.Linux系统的搭建(简要注意事项):

  1. 检查系统要求:在安装之前,确保你的硬件符合所选Linux发行版的最低系统要求,包括处理器、内存、硬盘空间等。这将确保系统能够顺利安装和运行。

  2. 密码和用户管理:在安装过程中设置root用户的密码,并考虑创建一个普通用户帐户以提高安全性。使用sudo来进行特权操作,而不是直接使用root帐户。

  3. 网络配置:确保在安装后正确配置网络设置,包括IP地址、子网掩码、网关和DNS服务器。这将确保系统能够连接到互联网和局域网。

在Linux系统搭建中 第一步我们需要下载与安装VMWare 第二步是VMWare部署和Centos的加载

第三步是虚拟机的网络配置 (在进行网络配置时 我们需要修改静态ip 这个静态ip 是我们此电脑的

ip地址 有些同学容易将工单上的ip地址输入进去 导致网络配置失败)查看我们的NAT模式网段 需

要修改相应的参数(注:这里的参数是 我们查看NAT模式网段里的 参数)修改后重启我们的网络配置 再进行修改主机名  

第四步是SSH工具的部署与使用  这里我们需要先下载SSH工具和安装FinalShell 工具  然后与虚拟机进行连接 (连接的ip地址是 对应每台虚拟机的ip地址)

第五步是修改我们的配置文件和免密配置  首先需要修改hosts文件  再进行免密设置 最后是时间同步

2.Hadoop集群搭建与部署

在进行集群搭建和部署中 我们首先需要进行jdk的安装和配置 (我们需要在我们的文件下 创建pack和servers

分别用于存放下载的jdk 和解压后的jdk

核心代码:mkdir /export/pack

核心代码:tar -zxvf jdk-8u144-linux-x64.tat.gz -C ../servers/

然后在分别进行配置环境变量

第二就是我们的hadoop的安装与配置(注:hadoop安装与配置与jdk安装一样的安装方法 如上所述所示)

最后是修改hadoop配置文件 与拷贝 

核心代码:vim hadoop-env.sh

同理修改其他的配置文件

拷贝Hadoop所有文件 相关代码如下:

核心代码:scp -r hadoop-3.2.2 /root@hadoop02:/export/servers/ (拷贝配置文件)

核心代码:scp /etc/profile root@hadoop02:/etc/profile (拷贝环境变量文件)

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值