1.通过挂载上传软件至/home/hyxy/soft
$>cp jdk1.8.XXX.tar.gz ~/soft
$>cp hadoop.2.7.3.tar.gz ~/soft
2.解压相关软件
$>tar -zxvf jdk1.8.XXX.tar.gz
$>tar -zxvf hadoop.2.7.3.tar.gz
3.创建软连接
$>ln -s jdk1.8.0_121/ jdk
$>ln -s hadoop-2.7.3/ hadoop
4.修改环境变量
$>cd ~
$>gedit .bash_profile
如下:
在文件最后追加以下指令:
#jdk install
export JAVA_HOME=/home/hyxy/soft/jdk
export PATH=$JAVA_HOME/bin:$PATH
#hadoop install
export HADOOP_HOME=/home/hyxy/soft/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
使配置文件生效:
$>source .bash_profile
注意:刷新完之后,当前会话可用;
建议reboot(重启)
5.配置SSH--无密码登陆
作用:Hadoop控制脚本依赖SSH来执行针对整个集群的操作。
a.修改hostname
$>su root
$>gedit /etc/sysconfig/network
【HOSTNAME=master】
b.修改hosts文件
$>gedit /etc/hosts
【在文件后追加:ip 主机名:192.168.142.138 master】
c.reboot;
d.生成秘钥
$>ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
【说明:-t设置生成秘钥的算法,采用的rsa;-P设置密码,默认为空;-f设置私钥生成的文件位置,】
e.生成认证库
$>cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
f.修改认证库的权限为600
$>chmod 600 ~/.ssh/authorized_keys
g. ssh master
//无密登录成功!!!!
6.配置hadoop
a.找到hadoop的配置路径: cd $HADOOP_HOME/etc/hadoop
b.修改core-site.xml
< property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
c.修改hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value> #只有一个副本数
</property>
d.修改hadoop-env.sh中的JAVA_HOME变量
【export JAVA_HOME=/home/hyxy/soft/jdk】
e.格式化HDFS
$>hdfs namenode -format
f.开启hadoop守护进程
则需要在C:\Windows\System32\drivers\etc\hosts下面追加:
【 IP地址 主机名 】即可。
$>cp jdk1.8.XXX.tar.gz ~/soft
$>cp hadoop.2.7.3.tar.gz ~/soft
2.解压相关软件
$>tar -zxvf jdk1.8.XXX.tar.gz
$>tar -zxvf hadoop.2.7.3.tar.gz
3.创建软连接
$>ln -s jdk1.8.0_121/ jdk
$>ln -s hadoop-2.7.3/ hadoop
4.修改环境变量
$>cd ~
$>gedit .bash_profile
如下:
在文件最后追加以下指令:
#jdk install
export JAVA_HOME=/home/hyxy/soft/jdk
export PATH=$JAVA_HOME/bin:$PATH
#hadoop install
export HADOOP_HOME=/home/hyxy/soft/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
使配置文件生效:
$>source .bash_profile
注意:刷新完之后,当前会话可用;
建议reboot(重启)
5.配置SSH--无密码登陆
作用:Hadoop控制脚本依赖SSH来执行针对整个集群的操作。
a.修改hostname
$>su root
$>gedit /etc/sysconfig/network
【HOSTNAME=master】
b.修改hosts文件
$>gedit /etc/hosts
【在文件后追加:ip 主机名:192.168.142.138 master】
c.reboot;
d.生成秘钥
$>ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
【说明:-t设置生成秘钥的算法,采用的rsa;-P设置密码,默认为空;-f设置私钥生成的文件位置,】
e.生成认证库
$>cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
f.修改认证库的权限为600
$>chmod 600 ~/.ssh/authorized_keys
g. ssh master
//无密登录成功!!!!
6.配置hadoop
a.找到hadoop的配置路径: cd $HADOOP_HOME/etc/hadoop
b.修改core-site.xml
< property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
c.修改hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value> #只有一个副本数
</property>
d.修改hadoop-env.sh中的JAVA_HOME变量
【export JAVA_HOME=/home/hyxy/soft/jdk】
e.格式化HDFS
$>hdfs namenode -format
f.开启hadoop守护进程
$>start-dfs.sh //开启HDFS
7.查看服务:
jps
如图:
9:在虚拟机上火狐浏览器访问:
http://master:50070
则需要在C:\Windows\System32\drivers\etc\hosts下面追加:
【 IP地址 主机名 】即可。