hadoop配置

配置项1

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://mini1:9000</value>
</property>

hdfs://mini1:9000 nameNode+Port
URI: jdbc:mysql://localhost:3306
schema
hadoop要使用哪一种文件系统

配置项2

<property>
    <name>hadoop.tmp.dir</name>
    <value>/home/hadoop/hdpdata</value>
</property>

在hdfs-site.xml中配置
//默认是3份

<property>
    <name>dfs.replication</name>
    <value>2</value>
</property>

在mapred-site.xml中配置
//方法一个资源调度平台上跑，yarn负责分配内存等
//不配置的话，默认是local，即本地模拟运行，不会在集群中运行

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

在yarn-site.xml中配置
//配置yarn的老大在哪里

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>mini1</value>
</property>

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

启动的时候，加一台就认一台。

./hadoop-daemon.sh start namenode
在mini2或者3／4 启动dataNode

./hadoop-daemon.sh start datanode
dataNode与nameNode怎么握手？
dataNode通过配置知道nameNode，协同工作。
如果启动失败，则查看日志。

etc中Hadoop中slaves中,给自动化启动脚本用的。
这个自动化脚本是start-dfs.sh和stop-dfs.sh?

start-dfs.sh中

本质上是这样ssh mini2 hadoop-daemon.sh start datanode

免密码登录

ssh-keygen

ssh-copy-id mini1
ssh-copy-id mini2
ssh-copy-id mini3
ssh-copy-id mini4