hadoop相关

分布式安装过程

1.1整体规划  主节点（192.168.1.225 master）NameNode,Jobtracker,SecondaryNameNode

                    从节点（192.168.1.224 slave0,192.168.1.226 slave1）DataNode,TaskTracker

1.2各节点产生ssh加密文件

1.3编辑各节点的/ect/hosts,在文件中含有所有节点的Ip和hostname的映射

1.4两两节点之间的ssh免密码登陆

          ssh-copy-id    -i  master

          scp   /root/.ssh/authorized-keys    slaves0:/root/.ssh

1.5 传输hadoop jdk文件到从节点， 把从节点的hadoop目录中的logs和tmp目录删掉

1.6 配置从节点的环境变量 也可直接传输主节点的环境变量  在从节点执行source命令

1.7 配置主节点上的slaves文件 ，改为从节点的hostname

1.8 格式化在主节点执行hadoop  name  -format

1.9 启动 主节点 执行start-all.sh

注意:对于配置文件 core-site.xml和mapred-site.xml 在所有节点中都是相同的内容

hadoop的配置文件中   master文件中存放的是SecondNameNode的主机名

将nameNode 和jobtracker分开, 需要配置  Core-site.xml   修改 fs.default.name属性决定NameNode的位置

mapred-site.xml  中的mapred.job.tracker属性决定jobtracker的位置（需要到各个节点配置  需要单独起进程）

在scp传输文件夹是 scp -r

2、向已有的环境中动态的增加一个从节点

        2.1 配置新节点环境

        2.2 把新节点的hostname配置到主节点的slaves文件中

        2.3 在新的节点   启动进程

                        hadoop-daemon.sh  start datanode

                        hadoop-daemon.sh  start  tasktracker

       2.4 在主节点执行脚本  hadoop  -dfsadmin  -refreshNodes

hadoop安全模式

在安全模式下 用户不能进行增删改的操作

       hadoop dfsadmin   -safemode   get   获取安全模式状态

       hadoop  dfsadmin   -safemode    enter   进入安全模式

        hadoop  dfsadmin  -safemode    leave   关闭安全模式