hadoop安装及配置

先安装jdk，配置java的环境变量

再安装ssh

yum install ssh

linux 查看是否安装了ssh

ps -ef | grep ssh

启动ssh:

service sshd start

机器参数设置：

1>配置主机名

    vim /etc/sysconfig/network       

NETWORKING=yes

HOSTNAME=fengqing

2>设置ip和hostname的映射关系

    vim /etc/hosts      

192.168.126.130 fengqing
192.168.126.130 localhost

3>配置ssh免密码登录

    在主目录下执行命令：

        ssh-keygen -t rsa (全部敲回车键)

    进入~/.ssh,执行命令

        cp id_rsa.pub authorized_keys

    ssh免密登录测试

        ssh localhost

        ssh fengqing

 

解压hadoop-2.6.0-cdh5.7.0.tar.gz

 tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C ~/app

HDFS配置文件参数设置

hadoop-env.sh

    在/root/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop/hadoop-env.sh文件中配置JAVA_HOME

 export JAVA_HOME=/root/app/jdk1.8.0_162

 

core-site.xml

    在/root/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop/core-site.xml文件中配置URI及namenode数据存放路径

<configuration>

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://fengqing:8082</value>

    </property>

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/root/app/tmp</value>

    </property>

</configuration>

hdfs-site.xml

在/root/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop/hdfs-site.xm文件中配置<!--设置副本系数为1，默认为3-->

<configuration>

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

</configuration>

配置hadoop客户端的环境变量

vim ~/.bash_profile

HADOOP_HOME=/root/app/hadoop-2.6.0-cdh5.7.0

export PATH=$HADOOP_HOME/bin:$PATH

格式化文件系统

在 /root/app/hadoop-2.6.0-cdh5.7.0/bin目录下执行命令

hdfs namenode -format

启动namenode进程和datanode进程

在 /root/app/hadoop-2.6.0-cdh5.7.0/sbin目录下执行命令

./start-dfs.sh

检测是否启动成功执行命令：

jps

或者打开浏览器（注意防火墙）

http://192.168.126.130:50070