hdfs1(自己写,)

slaves规划了DN启动 Hdfs-site.xml规划了SNN启动 配置文件在hadoop-2.6.5/etc/hadoop
哪台启动不起来就去哪台看日志文件 hadoop-2.6.5/logs

1、 先决条件
a) 三台机器(以上)
b) 每台机器时间一致,相差30秒以内。
c) 必须有主机名和ip映射。
d) 必须有JDK1.7,并且JDK的环境变量必须配置好。
i. pm -ivh jdk-7u79-linux-x64.rpm 安装jdk
ii. 配置环境变量: vi /etc/profile
在文件的最后添加:
export JAVA_HOME=/usr/java/default
export PATH= P A T H : PATH: PATH:JAVA_HOME/bin

source /etc/profile
e) 防火墙暂时关闭。
i. service iptables stop
ii. chkconfig iptables off
2、 上传tar,并且解压。并且配置hadoop的环境变量
a) tar -zxvf hadoop-2.5.2.tar.gz
export HADOOP_HOME=/root/hadoop-2.5.1
export PATH= P A T H : PATH: PATH:HADOOP_HOME/bin:$HADOOP_HOME/sbin
编辑hadoop配置文件:hadoop-env.sh, core-site.xml, hdfs-site.xml

core-site.xml配置

fs.defaultFS
hdfs://node5:9000 表示namenode的主机名


hadoop.tmp.dir
/hadoop 存放数据

Hdfs-site.xml 配置

dfs.namenode.secondary.http-address 配置SN的主机名
node002:50090


dfs.namenode.secondary.https-address
node003:50091

设置sshd免密码登陆。
a) 找一台主节点:启动服务。
i. 执行命令生成密钥。ssh-keygen
ii. 拷贝主节点的公钥到所有节点中去。

  1. 在.ssh目录下将公钥发给其他用到的主机:ssh-copy-id -i ./id_dsa.pub root@node003

拷贝文件:hosts,bash_profile hadoop目录
a) scp /etc/hosts root@hadoop2:/etc/
b) scp ~/.bash_profile root@hadoop2:~
c) scp -r /root/hadoop-2.5.2 root@hadoop2:~
格式化HDFS: hdfs namenode –format 必须在主节点上

在主节点上启动 start-dfs.sh
进程:

访问 http node001:50070访问成功

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值