大数据环境搭建

本文详细介绍了如何在虚拟机中搭建Hadoop分布式环境,包括CentOS安装、多台虚拟机配置、Hadoop安装及配置、免密登录、JDK安装、Hadoop环境变量设置等步骤。此外,还讲解了MySQL的安装、密码设置,以及Hive的安装、元数据初始化和验证启动。最后提到了日志采集工具Flume的后续安装。
摘要由CSDN通过智能技术生成

一、准备工作

1.安装好虚拟机VMware .Pro

2.安装好操作系统CentOS 

CentOS的安装_编程届的学渣的博客-CSDN博客

3.安装好远程控制虚拟机的终端Finallshell

下载地址:

http://www.hostbuf.com/t/988.html

虚拟机输入ifconfig查找IP地址

远程连接

连接成功。如果再次登录时无法连接,可能是IP地址发生改变,改一下自己的IP地址即可 

二、Hadoop安装

准备工作

1.准备三台虚拟机,至少也需要两台,如果懒得再次安装,可以直接克隆现有的虚拟机

选中需要克隆的虚拟机,右键,找到“管理”->“克隆”,下一步

下一步

 选择“创建完整克隆”,下一页

 给克隆机取名,选择安装位置

 等待克隆

重复此操作再克隆机子即可。

2.给多台机器取名 vim /etc/hostname,修改完毕后需要重启 reboot

第一台机器  hadoop101

第二台机器 hadoop102

第三台机器  hadoop103

3.配置多台机器的别名

因为我的IP地址目前配置的动态IP的,所以可能我的IP地址会变化。如果我的IP地址因为我的位置的变动发生了变化,我只需要修改/etc/hosts里面的IP就可以了

vim  /etc/hosts

4.配置无密码访问模式

ssh-keygen  生成一对公私钥(一直回车,遇到需要输入y的地方输一下)

设置免密(因为我已经配置过了,就不再演示了,跟着步骤走就行)

ssh-copy-id   hadoop101
ssh-copy-id   hadoop102
ssh-copy-id   hadoop103

 这里我们就可以实现 无密码登录

5.上传JDK,如果有就不用上传了(找到想要上传的目录,直接拖进去即可上传)

解压

tar -zxvf   jdk-8u161-linux-x64.tar.gz 

 6.配置环境变量

vim /etc/profile

export JAVA_HOME

  • 0
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值