Hadoop的配置

1. 配置主机名    /etc/sysconfig/network   hostname=master       master是主节点的意思
需要重启虚拟机才能生效
2. 配置主机名和ip地址的映射
先确保静态ip配置好了，在主机可以ping虚拟机，在虚拟机可以ping通主机
eth0 的网卡设置为 仅主机模式
 /etc/hosts 192.168.56.2 master

3.ssh
先确保自己电脑上安装了ssh     rpm -qa | grep ssh
安装过ssh 可以直接启动服务    service sshd start  ，关闭linux防火墙  service iptables stop 
chkconfig iptables off  永久关闭
ssh免密登录
1、生成公钥    ssh-keygen -t rsa
2.拷贝公钥     ssh-copy-id -i ~/.ssh/id_rsa.pub root@master

4.java 环境配置
首先上传jdk和hadoop压缩包
1.解压 jdk   tar -zxvf jdk......
2.配置环境变量
需要先删除本地的jdk
查找本地安装的jdk包   rpm -qa | grep jdk
删除本地包    rpm -e --nodeps xxxx.......

配置环境变量    /etc/profile
export JAVA_HOME=/java的安装地址
export PATH=$PATH:$JAVA_HOME/bin

环境变量配置好以后先 source 生效   source /etc/profile
验证配置成功     java -version   1.8的版本

5.hadoop配置
1、解压hadoop    tar -zxvf hadoop....
2. 配置环境变量     /etc/profile
export HADOOP_HOME=/hadoop的安装地址
export PATH=$PATH:$HADOOP_HOME/bin
使环境变量生效    source

3.配置hadoop 的配置文件、
在 hadoop安装目录 下的  etc/hadoop   

hadoop-env.sh
配置jdk 和hadoop的环境变量
export JAVA_HOME=/root/soft/jdk1.8.0_161
export HADOOP_HOME=/root/soft/hadoop-2.6.0-cdh5.7.0

core-site.xml
配置 hdfs文件系统的地址
 <property>
                <name>fs.defaultFS</name>
                <value>hdfs://master:8020</value>
  </property>

hdfs-site.xml
第一个  dfs.replication    data副本的数量   第二个  dfs.name.dir namenode的数据存放地址
第三个  dfs.data.dir   datanode 的数据存放地址
<property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>
        <property>
                <name>dfs.name.dir</name>
                <value>/root/soft/hdfs/name</value>
        </property>
        <property>
                <name>dfs.data.dir</name>
                <value>/root/soft/hdfs/data</value>
        </property>

slaver
配置   master

格式化 hdfs
hadoop namenode -format

启动  在hadoop安装目录下 的sbin目录
./start-dfs.sh       启动
./stop-dfs.sh      停止
启动成功jps 会有 四个进程           datanode  namenode  secondarynamenode   jps