HADOOP 集群安装配置

先更一篇以前写的hadoop安装配置的文章吧,文章中部分内容是摘抄的,但是实践可行,估计在未来一定时间里可能不会接触大数据相关的东西了,准备补一补一些基础知识。 好了下面是正文:准备工作 原料: VMware Workstation hadoop-1.0.4-bin.tar CentOS-6.6-x86_64-minimal jdk-8u25-linux-x64 scala-2.10.
摘要由CSDN通过智能技术生成

先更一篇以前写的hadoop安装配置的文章吧,文章中部分内容是摘抄的,但是实践可行,估计在未来一定时间里可能不会接触大数据相关的东西了,准备补一补一些基础知识。
好了下面是正文:


准备工作
原料:
VMware Workstation hadoop-1.0.4-bin.tar
CentOS-6.6-x86_64-minimal
jdk-8u25-linux-x64
scala-2.10.4
Xftp
一、 安装虚拟机
1. 下载、安装。
2. 新建虚拟机,根据实际情况配置虚拟机配置。
3. 选稍后安装系统。
二、 安装linux系统
1. 下载Linux任意一种发行版。这里选择CentOS-6.6-x86_64-minimal。
2. 开机虚拟机,虚拟机->可移动设备->CD->设置,放入下好的ISO.
3. 重启虚拟机,开始安装系统.
4. 设置网络.要内外能ping通。使用NAT模式 若有问题:VMware虚拟机网络设置方法
5. 使用yum install perl安装perl,为了支持pl文件。
6. Linux系统安装VMware Tools有点坑,没装上。。。
对虚拟机不理解的:虚拟化零基础入门

三、 安装scala.
四、 SSH协议安装
1) 检查ssh和rsync是否安装
[root@××× bin]# rpm -qa|grep ssh
openssh-askpass-4.3p2-36.el5
openssh-server-4.3p2-36.el5
openssh-4.3p2-36.el5
openssh-clients-4.3p2-36.el5
[root@* bin]# rpm -qa|grep rsync
rsync-2.6.8-3.1
2) 安装ssh和rsync
如果没有安装上述包,则需要安装
yum install ssh 安装SSH协议
yum install rsyn
2.设置无密码登录

五、 安装Hadoop
NAMENODE安装配置
hadoop namenode服务器安装
所有的机器上都要安装hadoop,现在就先在Namenode服务器安装,然后其他服务器按照步骤重复进行即可。安装和配置hadoop需要以”root”的身份进行。
 首先用root用户登录”Namenode “机器,查看我们之前用FTP上传的” hadoop-1.0.4”。

 接着把”hadoop-1.0.4”复制到”/usr”目录下面。
cp /home/hadoop/hadoop-1.04 /usr
下一步进入”/usr”目录下,将其命名为”hadoop”,把该文件夹的用户属主更改为户hadoop
cd /usr #进入”/usr”目录
mv hadoop-1.0.4 hadoop #将”hadoop-1.0.4”文件夹重命名”hadoop”
chown –R hadoop:hadoop hadoop #将文件夹的用户属主更改为户hadoop

 最后在”/usr/hadoop”下面创建tmp文件夹,把Hadoop的安装路径添加到”/etc/profile”中,修改”/etc/profile”文件(配置java环境变量的文件),将以下语句添加到末尾,并使其有效:
# set hadoop path
export HADOOP_HOME=/usr/hadoop
export PATH=

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值