hadoop开发环境搭建

很早就听说hadoop,但项目中一直没怎么接触,今天终于下定决心,花了一天的时间,搭起了基本的开发环境,总结如下。一.软件准备jdk、hadoop软件包、eclipse软件包(linux版)二.安装java详见http://blog.csdn.net/tonytfjing/article/details/42167599三.安装hadoop(单机伪分布式)3
摘要由CSDN通过智能技术生成

很早就听说hadoop,但项目中一直没怎么接触,今天终于下定决心,花了一天的时间,搭起了基本的开发环境,总结如下。

一.软件准备

jdk、hadoop软件包、eclipse软件包(linux版)

二.安装java

详见http://blog.csdn.net/tonytfjing/article/details/42167599

三.安装hadoop(单机伪分布式)

3.1创建hadoop用户

为hadoop创建一个专门的用户,具体如下:

groupadd hadoopGroup             //创建hadoop用户组
useradd -g hadoopGroup hadoop    //新增用户hadoop并将其加入hadoopGroup群组
passwd hadoop                    //建立hadoop用户的新密码,密码也是hadoop

3.2安装hadoop

用ftp工具将hadoop安装包上传到linux系统中,解压

tar -zxvf hadoop-1.2.1.tar.gz

3.3配置ssh

Hadoop需要通过SSH(安全外壳协议,可以保护共享访问的安全性)来启动Slave列表中各台主机的守护进程。但是由于SSH需要用户密码登陆,所以为了在系统运行时,节点之间免密码登录和访问,就需要把SSH配置免密码方式。具体如下:

ssh-keygen -t rsa        //生成密钥对,ras加密
一直按enter,就会按照默认的选项将生成的密钥对保存到.ssh/id_rsa

cd .ssh/            
cp id_rsa.pub authorized_keys    //进入.ssh,把id_rsa.pub文件追加到授权(authorized_keys)里面
ssh localhost                    //测试无密码登录本机
3.4配置hadoop环境

切换到hadoop的安装路径找到conf/hadoop-env.sh文件,vi编辑,在文件最后添加如下语句:

export JAVA_HOME=/usr/java/jdk1.7.0_71
同时将hadoop安装目录的bin目录配置到系统path变量中,不然如果无法使用hadoop命令(当然也可以每次都到hadoop安装文件夹下的bin里面去执行./hadoop)

                
  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值