1.Hadoop的配置
独立模式、伪分布式、完全分布式
2.安装完之后就已经是独立模式了。
(1)在独立模式之下是没有守护进程的,可以输入命令 jps 会发现只有一个Jps,没有其他守护进程。
(2) Hadoop里面的命令和Ubuntu里面差不多,只是有点区别:
命令 : hadoop fs -ls / :查看Hadoop的根目录。
3.伪分布式模式
伪分布式是完全分布式的一个特例
在伪分布式模式下,需要配置四个文件
①core-site.xml ② hdfs-site.xml ③ yarn-site.xml ④mapred-site.xml
namenode(名称节点,简称NN):存放文件系统的目录 ,他的副本-->secondaryNamenode
dataNode(数据节点,简称DN):数据的真正存放地点 ,他的副本-->replication
(1)进入到 安装好的haoop里面把文件夹复制一份。结果如图:
(2)然后进入到hadoop_pseudo里面 ,
执行sudo *-site.xml :配置所有的-site.xml文件;
(3)看清楚首先要配置的文件
①core-site.xml
在<configuration>标签里面加入
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost/</value>
</property>
② hdfs-site.xml
在<configuration>标签里面加入
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
③ yarn-site.xml
在<configuration>标签里面加入
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
④mapred-site.xml
因为没有mapred-site.xml这个文件所以,进行已经有的模板的复制:
输入命令: cp mapred-site.xml.template mapred-site.xml
然后把下面的内容放到里面(命令 sudo nano mapred-site.xml):
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
这样这四个配置文件就配置完成了。下一节继续配置