hadoop-3个节点

1、mini1 namenode resource 两个节点
2、mini2 和 mini3都是datanode

hadoop版本选择
1、Apache官方的 2.6.4
    使用根据cenos6.5平台编译的hadoop

hadoop搭建
1、解压 cenos-6.5-hadoop-2.6.4.tar.gz
    tar -zvxf cenos-6.5-hadoop-2.6.4.tar.gz
2、进入etc目录修改配置文件
1)修改hadoop-env.sh(vi hadoop-env.sh)
        java_home=/usr/local/jdk1.7
    
2)、修改core-site.xml
    <configuration>
    <property>
    <name>fs.defaultFS</name>
    <value>hdfs://mini1:9000</value>
    </property>
    <!--这是hdfs运算存储的临时目录-->
    <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop-2.6.4/tmp</value>
    </property>
    </configuration>
    
3)修改hdfs-site.xml
    <configuration>
    <!--存放元数据的地方-->
    <property>
    <name>dfs.namenode.name.dir</name>
    <value>/usr/local/hadoop-2.6.4/tmp/name</value>
    </property>
    <!--存放datanode产生的数据-->
    <property>
    <name>dfs.datanode.data.dir</name>
    <value>/usr/local/hadoop-2.6.4/tmp/data</value>
    </property>

    <!--数据存储的份数-->
    <property>
    <name>dfs.replication</name>
    <value>3</value>
    </property>

    <!--secondary默认访问的页面端口-->
    <property>
    <name>dfs.secondary.http.address</name>
    <value>mini1:50090</value>
    </property>
    
    
    <!--尝试添加,增加block的存储大小-->
    <property>
    <name>dfs.datanode.max.transfer.threads</name>
    <value>16000</value>
    </property>
    </configuration>
    
4)修改mapred-site.xml
    <configuration>
    <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    </property>
    </configuration>
    
5)修改 yarn-site.xml
    <configuration>
    <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>mini1</value>
    </property>

    <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    </property>
    </configuration>
    
3、初始化,创建目录
    bin/hadoop namenode -format
    
4、分发到其他节点机器上去
    scp -r hadoop-2.6.4 mini2:$PWD
    scp -r hadoop-2.6.4 mini3:$PWD
    
5、使用自动化启动脚本必须修改文件--这个只需要在主节点配置好就可以去启动其他子节点上的datanode
    vi slaves
    mini1
    mini2
    mini3
    
hadoop运行
1、启动NameNode(可以通过http主机ip:50070查看)配置主节点namenode的机器上
    cd sbin目录
    ./hadoop-daemon.sh start namenode

2、启动DataNode从节点的机器上
    cd sbin目录
    ./hadoop-daemon.sh start datanode

3、配置完自动化脚本文件，就可以通过sbin下面命令操作namenode datanode secondarynamenode启动和停止
    停止：
    ./stop-dfs.sh
    启动:
    ./start-dfs.sh

4、查看mapreduce检测页面，当运算程序启动进入8088页面可以查看
    主机名:8088

hadoop操作
1、上传文件
hadoop fs -put 文件名 hdfs存放目录

2、下载文件
hadoop fs -get 文件路径 (默认当前路径)

3、删除文件
hadoop fs -rmr 文件路径

4、mapreduce运算
hadoop jar hadoop-mapreduce-examples-2.6.4.jar wordcount /wordcount/input(需要计算文件夹里的文件) /wordcount/output(计算结果后出写入的文件夹)

5、查看hdfs系统信息
hdfs dfsadmin -report