接下来是运行环境的重头戏,比较繁琐,需要仔细认真核对配置信息:
9. 配置hadoop
目标:在master上面安装并配置hadoop,然后拷贝到slave上面,再进行配置
1) 下载并解压文件至/opt文件夹下
安装文件:hadoop-2.6.1.tar.gz
(演示一下ssh传送命令)scp /home/hadoop/hadoop-2.6.1.tar.gz hadoop@101.5.208.157:/opt
2) 配置各个文件参数(包含ip以及jdk路径)
/opt/hadoop-2.6.1/etc/hadoop/core-site.xml 改ip
/opt/hadoop-2.6.1/etc/hadoop/slaves 其中填写ip就可以
/opt/hadoop-2.6.1/etc/hadoop/hdfs-site.xml 改为mster的ip
/opt/hadoop-2.6.1/etc/hadoop/yarn-site.xml 改为mater的ip
/opt/hadoop-2.6.1/etc/hadoop/mapred-site.xml 改为master的ip
/opt/hadoop-2.6.1/etc/hadoop/hadoop-env.sh 修改jdk的路径以及 hadoop路径等
/opt/hadoop-2.6.1/etc/hadoop/yarn-env.sh 修改jdk的路径
3) 配置路径/etc/profile
hadoop的路径需要配置
source /etc/profile 实在不行重启电脑 4) 在特定位置新建文件夹 home/hadoop建立两个文件夹 hadooptmp以及tmp,其中hadooptmp中之后将会出现序列号等信息
5) 格式化hadoop系统
sudo chmod -R 755 bin
进入hadoop的bin目录hadoop namenode -format
[以上为Master的hadoop环境配置好了,该配置slave的hadoop环境了,因此以下是在slave上操作的]
1) 将/opt/hadoop文件夹拷贝到slave上/opt中
2) 修改profile
3) 建立两个文件夹hadooptmp tmp
4) 使slave中的序列号与master的相同
修改:
#Sun Mar 06 20:40:04 CST 2016
namespaceID= 1115887014 (把这个写成和master对应位置一样的)
clusterID=CID-813d5971-a 742-4971-9a95-1b2b472f8ca3
cTime=0
storageType=NAME_NODE
blockpoolID=BP- 513084621-101.5.213. 74-1457268004407
layoutVersion=-60
10. 测试hadoop是否成功
opt/hadoop-2.6.1/sbin/start-all.sh
注:可能遇到的问题:
启动不了,报错没有权限,则在对应slave上运行:
sudo chmod -R 755 /opt (因为刚刚测试运行hadoop说出启动失败了,因为没有对应的权限,或者777)
2) 观察hadoop运行在浏览器中输入:
101.5.208.157:50070
后面为自动打出:/dfshealth.html#tab-datanode11. 配置hbase
目标:在master上面安装并配置hbase,然后拷贝到slave上面,再进行配置
1) 下载并解压文件在/opt中
安装文件:hbase-0.94.26.tar.gz
2) 修改文件配置
/conf hbase-env.sh 修改为jdk,hadoop,hbase路径相关
hbase-site.xml regionservers 改为对应的ip
3) 设置hbase的bin目录权限
sudo chmod -R 755 bin
[以上为master上进行的操作,同样将文件夹拷贝至slave上,以下为slave上的操作]
1) 修改配置文件profile
2) 修改bin配置权限
12. 启动hbase
1) ./start-hbase.sh
2) 浏览器观察ip:60010端口即可
13. 安装mysql
14. Eclipse上安装hadoop插件