[b]------------->附件图文并茂[/b]
[b]------------->附件图文并茂[/b]
[b]------------->附件图文并茂[/b]
[b]------------->附件图文并茂[/b]
[b]------------->附件图文并茂[/b]
[b]------------->附件图文并茂[/b]
[b]------------->附件图文并茂[/b]
环境描述:CentOS-6.5-x86_64-bin-DVD1.iso
hadoop-2.4.0
jdk-7u15-linux-x64.tar
客户端:
Xmanager Enterprise 4
先关闭防火墙:service iptables stop
配置环境变量 (JAVA):
#mpc add jdk1.7
export JAVA_HOME=/opt/jdk1.7.0_15
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
export JAR_HOME=$JAVA_HOME/jre
编译并运行:
配置环境变量(hadoop):
#mpc add hadoop2.4.0
export HADOOP_HOME=/opt/hadoop-2.4.0
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export CLASSPATH=.:$JAVA_HOME/lib:$HADOOP_HOME/lib:$CLASSPATH
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
编译、增加可执行权限,并查看版本:
source /etc/profile
chmod a+x bin/hadoop
hadoop version
配置ssh免费密码登录:
参考:
1. cd ~/.ssh (进入用户目录下的隐藏文件.ssh)
2. ssh-keygen -t rsa (用rsa生成密钥)
3. cp id_rsa.pub authorized_keys (把公钥复制一份,并改名为authorized_keys,这步执行完,应该ssh localhost可以无密码登录本机了,可能第一次要密码)
4. scp authorized_keysqiuchenl@qiuchenl1:/home/qiuchenl/.ssh (把重命名后的公钥通过ssh提供的远程复制文件复制到从机qiuchenl1上面)
5. chmod 600 authorized_keys (更改公钥的权限,也需要在从机qiuchenl1中执行同样代码)
6. ssh qiuchenl1 (可以远程无密码登录qiuchenl1这台机子了,注意是ssh不是sudo ssh。第一次需要密码,以后不再需要密码)
如果root工作目录下没有.ssh目录,用root用户在主机上登陆一次即可生成。
将authorized_keys文件复制到其他三台机器上:
命令:scp authorized_keys root@192.168.15.222:/home/.ssh
查看其他三台是否拷贝完成,并修改权限:
拷贝完成后未修改权限居然也可以,可能是root的缘故吧。
为了保险起见,我还是将从机的权限修改了:chmod 600 authorized_keys
修改各个机器上的hostname:
vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=slave1
NETWORKING=yes
HOSTNAME=slave2
NETWORKING=yes
HOSTNAME=slave3
修改网络映射:
vim /etc/hosts
并分别拷贝到各个从机上:
修改配置文件:
将配置好的hadoop复制到其他三台从机上:
scp -r hadoop-2.4.0/ slave3:/opt/
scp -r jdk1.7.0_15/ slave3:/opt/
环境变量也scp
在从机上source /etc/proflie
插播广告:java群 :84436262
格式化:
将hadoop2.4.0版本下所有的文件权限增加执行权限:
chmod a+x /opt/hadoop-2.4.0
chmod a+x /opt/hadoop-2.4.0/bin/*
chmod a+x /opt/hadoop-2.4.0/sbin/*.sh
hadoop namenode -format
启动:start-all.sh
如果中途报错 ,无法找到或者设置JAVA_HOME;
请讲jdk配置到 ~/.bashrc 文件内。
master:
插播广告:JAVA/J2EE/ORACLE/MYSQL/HADOOP 群 :84436262
创建目录、上传文件:
创建数据目录:hadoop fs -mkdir /hadoop20150610
上传文件: hadoop fs -put /root/install.log.syslog /hadoop20150610
文件浏览:
workcount:
产看文件列表:hadoop fs -ls /hadoop20150610/output/
查看结果: hadoop fs -cat /hadoop20150610/output/part-r-00000
[b]------------->附件图文并茂[/b]
[b]------------->附件图文并茂[/b]
[b]------------->附件图文并茂[/b]
[b]------------->附件图文并茂[/b]
[b]------------->附件图文并茂[/b]
[b]------------->附件图文并茂[/b]
环境描述:CentOS-6.5-x86_64-bin-DVD1.iso
hadoop-2.4.0
jdk-7u15-linux-x64.tar
客户端:
Xmanager Enterprise 4
先关闭防火墙:service iptables stop
配置环境变量 (JAVA):
#mpc add jdk1.7
export JAVA_HOME=/opt/jdk1.7.0_15
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
export JAR_HOME=$JAVA_HOME/jre
编译并运行:
配置环境变量(hadoop):
#mpc add hadoop2.4.0
export HADOOP_HOME=/opt/hadoop-2.4.0
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export CLASSPATH=.:$JAVA_HOME/lib:$HADOOP_HOME/lib:$CLASSPATH
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
编译、增加可执行权限,并查看版本:
source /etc/profile
chmod a+x bin/hadoop
hadoop version
配置ssh免费密码登录:
参考:
1. cd ~/.ssh (进入用户目录下的隐藏文件.ssh)
2. ssh-keygen -t rsa (用rsa生成密钥)
3. cp id_rsa.pub authorized_keys (把公钥复制一份,并改名为authorized_keys,这步执行完,应该ssh localhost可以无密码登录本机了,可能第一次要密码)
4. scp authorized_keysqiuchenl@qiuchenl1:/home/qiuchenl/.ssh (把重命名后的公钥通过ssh提供的远程复制文件复制到从机qiuchenl1上面)
5. chmod 600 authorized_keys (更改公钥的权限,也需要在从机qiuchenl1中执行同样代码)
6. ssh qiuchenl1 (可以远程无密码登录qiuchenl1这台机子了,注意是ssh不是sudo ssh。第一次需要密码,以后不再需要密码)
如果root工作目录下没有.ssh目录,用root用户在主机上登陆一次即可生成。
将authorized_keys文件复制到其他三台机器上:
命令:scp authorized_keys root@192.168.15.222:/home/.ssh
查看其他三台是否拷贝完成,并修改权限:
拷贝完成后未修改权限居然也可以,可能是root的缘故吧。
为了保险起见,我还是将从机的权限修改了:chmod 600 authorized_keys
修改各个机器上的hostname:
vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=slave1
NETWORKING=yes
HOSTNAME=slave2
NETWORKING=yes
HOSTNAME=slave3
修改网络映射:
vim /etc/hosts
并分别拷贝到各个从机上:
修改配置文件:
将配置好的hadoop复制到其他三台从机上:
scp -r hadoop-2.4.0/ slave3:/opt/
scp -r jdk1.7.0_15/ slave3:/opt/
环境变量也scp
在从机上source /etc/proflie
插播广告:java群 :84436262
格式化:
将hadoop2.4.0版本下所有的文件权限增加执行权限:
chmod a+x /opt/hadoop-2.4.0
chmod a+x /opt/hadoop-2.4.0/bin/*
chmod a+x /opt/hadoop-2.4.0/sbin/*.sh
hadoop namenode -format
启动:start-all.sh
如果中途报错 ,无法找到或者设置JAVA_HOME;
请讲jdk配置到 ~/.bashrc 文件内。
master:
插播广告:JAVA/J2EE/ORACLE/MYSQL/HADOOP 群 :84436262
创建目录、上传文件:
创建数据目录:hadoop fs -mkdir /hadoop20150610
上传文件: hadoop fs -put /root/install.log.syslog /hadoop20150610
文件浏览:
workcount:
产看文件列表:hadoop fs -ls /hadoop20150610/output/
查看结果: hadoop fs -cat /hadoop20150610/output/part-r-00000