bd集群

1  hadoop-env.sh javahome 为全路径，不可为￥PATH直接指定如￥JAVA_HOME，因开启需要通过ssh远程，不读取profile故没有JAVA_HOME

2 core-site.xml  在configuration中添加

<configuration>
    <property>
        <name>fs.defaultFS</name>默认文件系统访问哪一个
        <value>hdfs://mini01:9000</value>指定那一个是namenode，以及客户端访问的端口
    </property>

    <property>
        <name>hadoop.tmp.dir</name>工作目录
        <value>/root/hdpdata</value>
    </property>

</configuration>

3 hdfs-site.xml可以不用配用默认值即可

<configuration>
    <property>
        <name>dfs.replication</name>副本的数量，默认为3副本的数量按小弟的个数来最合适，datanode存数据

        <value>2</value>
    </property>

<property>
                <name>dfs.name.dir</name>
                <value>/root/name1,/root/name2</value>  配置namenode的工作目录应该在不同的磁盘上更安全些，主要是edit文件
        </property>

</configuration>

4 mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name> mp运行平台
        <value>yarn</value>
    </property>


</configuration>
5 yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->

    <property>
        <name>yarn.resourcemanager.hostname</name>yarn 的老大
        <value>mini01</value>
    </property>

    <property>
        <name>yarn.nodemanager.aux-services</name>mp辅助任务，shuffle
        <value>mapreduce_shuffle</value>
    </property>

</configuration>

scp -r 传递目录时否则not regular file

li就是好可以直接cp 覆盖

scp /etc/profile mini02/etc

hadoop namenode -format 格式化一下namenode在namenode机器上执行

hadoop.daemon.sh start namenode

hadoop.daemon.sh start datanode

etc/hadoop/slave配置小弟,只在namenode中的slave中配置就行，配置的目地是用start-dfs.sh便于统一启动关闭，

start-dfs.sh

客户端apisetrep即设置副本的数量，可以设置比datanode的数量多，通过web段查看也是setrep，但实际上是按机器数量而定

配置免密登录从namenode到datanode和namenode到本身开启secondnamenode

start-all.sh 启动hdfs后再启动yarn，但log显示的deprected不赞成

因为若其中有一个启动错误，会耽误所以process，so一个一个的启动，start-dfs.sh  start-yarn.sh start-all.sh

start-all.sh 因启动secondarynameno ，且没有配置，所以默认0。0。0。0但这个ip启动很慢，可以配置，但苦于电脑配置不行，我就不陪了

默认在namenode的工作目录中，即core-site配置的工作目录中 namesecondary

在hdfs-site.xml中配置

<property>
        <name>      dfs.namenode.secondary.http-address</name>
        <value>ip:50090</value>
    </property>

同理namenode 与resourcemanager即yarn也可以分开，在不同的机器上，datanode nodemanager也可分可，but电脑配置不行就这了

hadop.apac.org

左下角document release左下角ml

简单shell hadoop fs -ls  /

会输出一大堆，log什么的信息warning等类似与

其实是没错的，因为你的集群上什么文件都没有放，我以为我的错了，差点就重装了，以此告诫，还要注意版本问题有的版本不兼容，