linux(ubuntu)myeclipse+eclipse+hadoop系统搭建(二)

接下来是运行环境的重头戏,比较繁琐,需要仔细认真核对配置信息:

9. 配置hadoop

目标:在master上面安装并配置hadoop,然后拷贝到slave上面,再进行配置

1) 下载并解压文件至/opt文件夹下

安装文件:hadoop-2.6.1.tar.gz
(演示一下ssh传送命令)scp /home/hadoop/hadoop-2.6.1.tar.gz hadoop@101.5.208.157:/opt
2) 配置各个文件参数(包含ip以及jdk路径)
/opt/hadoop-2.6.1/etc/hadoop/core-site.xml 改ip
/opt/hadoop-2.6.1/etc/hadoop/slaves 其中填写ip就可以
/opt/hadoop-2.6.1/etc/hadoop/hdfs-site.xml 改为mster的ip
/opt/hadoop-2.6.1/etc/hadoop/yarn-site.xml  改为mater的ip
/opt/hadoop-2.6.1/etc/hadoop/mapred-site.xml 改为master的ip
/opt/hadoop-2.6.1/etc/hadoop/hadoop-env.sh 修改jdk的路径以及 hadoop路径等
/opt/hadoop-2.6.1/etc/hadoop/yarn-env.sh 修改jdk的路径
3) 配置路径/etc/profile

hadoop的路径需要配置

source /etc/profile 实在不行重启电脑
4) 在特定位置新建文件夹
home/hadoop建立两个文件夹 hadooptmp以及tmp,其中hadooptmp中之后将会出现序列号等信息

5) 格式化hadoop系统

sudo chmod -R 755 bin

进入hadoop的bin目录

hadoop namenode -format

[以上为Master的hadoop环境配置好了,该配置slave的hadoop环境了,因此以下是在slave上操作的]

1) 将/opt/hadoop文件夹拷贝到slave上/opt中

2) 修改profile

3) 建立两个文件夹hadooptmp tmp

4) 使slave中的序列号与master的相同

home/hadooptmp/dfs/name/current
修改:
#Sun Mar 06 20:40:04 CST 2016
namespaceID= 1115887014   (把这个写成和master对应位置一样的)
clusterID=CID-813d5971-a 742-4971-9a95-1b2b472f8ca3
cTime=0
storageType=NAME_NODE
blockpoolID=BP- 513084621-101.5.213. 74-1457268004407
layoutVersion=-60

10. 测试hadoop是否成功

1) 启动hadoop
opt/hadoop-2.6.1/sbin/start-all.sh

注:可能遇到的问题:

启动不了,报错没有权限,则在对应slave上运行:

sudo chmod -R 755 /opt (因为刚刚测试运行hadoop说出启动失败了,因为没有对应的权限,或者777)

2) 观察hadoop运行

在浏览器中输入:

101.5.208.157:50070

后面为自动打出:/dfshealth.html#tab-datanode

11. 配置hbase

目标:在master上面安装并配置hbase,然后拷贝到slave上面,再进行配置

1) 下载并解压文件在/opt中

安装文件:hbase-0.94.26.tar.gz

2) 修改文件配置

/conf hbase-env.sh 修改为jdk,hadoop,hbase路径相关

hbase-site.xml regionservers 改为对应的ip

3) 设置hbase的bin目录权限

sudo chmod -R 755 bin

[以上为master上进行的操作,同样将文件夹拷贝至slave上,以下为slave上的操作]

1) 修改配置文件profile

2) 修改bin配置权限

12. 启动hbase

1) ./start-hbase.sh

2) 浏览器观察ip:60010端口即可

13. 安装mysql

14. Eclipse上安装hadoop插件

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值