hadoop伪分布搭建流程
准备工作:
1、jdk-8u162-linux-x64.tar
2、hadoop.2.7.3.tar.gz
1、上传压缩包到指定目录下
本人是CentOS-6.8-x86_64;搭建Hadoop建议创建一个新的用户;本人把hadoop搭建在hyxy用户下;
压缩包上传到hyxy的新建目录soft下,此次操作都在hyxy用户下进行;
2、解压相关软件
$>tar -zxvf jdk1.8.XXX.tar.gz
$>tar -zxvf hadoop.2.7.3.tar.gz
3.创建软连接
$>ln -s jdk1.8.0_121/ jdk
$>ln -s hadoop-2.7.3/ hadoop
4.修改环境变量
$>cd ~
$>gedit ~/.bash_profile
在文件最后追加以下指令:
#jdk install
export JAVA_HOME=/home/hyxy/soft/jdk
export PATH=$JAVA_HOME/bin:$PATH
#hadoop install
export HADOOP_HOME=/home/hyxy/soft/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
$>source .bash_profile
注意:刷新完之后,当前回话可用;建议reboot(重启)
5.配置SSH
a.修改hostname
$>su root
$>gedit /etc/sysconfig/network
【HOSTNAME=master】
b.修改hosts文件
$>gedit /etc/hosts
【在文件后追加:ip 主机名:192.168.142.138 master】
c.reboot;
d.生成秘钥
$>ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
【说明:-t设置生成秘钥的算法,采用的rsa;-P设置密码,默认为空;-f设置秘钥生成的文件位置,~/.ssh】
e.生成认证库
$>cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
f.修改认证库的权限为600
$>chmod 600 ~/.ssh/authorized_keys
g.ssh master
//无密登录成功!!!!exit退出当前的ssh;
6.配置hadoop
a.找到hadoop的配置路径:cd $HADOOP_HOME/etc/hadoop
b.修改core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
c.修改hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
d.修改hadoop-env.sh中的JAVA_HOME变量
【export JAVA_HOME=/home/hyxy/soft/jdk】
e.格式化HDFS
$>hdfs namenode -format
f.开启hadoop守护进程
$>start-dfs.sh //开启HDFS
官网:http://hadoop.apache.org/ 没事去官网看一下,就当刷微信步数了!!!