高毅的博客

/etc/sysconfig/network-scripts/ifcfg-eth0 把 ONBOOT 设为 yes。然后 service network restart搞定~

配置物理主机的网卡、VMware上各个虚拟系统的网卡，使其能互相通信：

把Hadoop用于搜索引擎的分布式存储，故总结下Hadoop的相关知识：Hadoop的安装：1、获取Linux操作系统，我的是Ubuntu 16.42、在Ubuntu上安装jdk3、配置Hadoop-->下载Hadoop：wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.

start-dfs.shstart-yarn.sh/etc/hadoop下的slaves文件记录了要启动的DataNode

MapReduce程序的运行模式，有两种：一种是本地运行；另一种是yarn集群运行。本地运行模式：MapReduce程序是被提交给LocalJobRunner运行，通过设置参数mapreduce.framework.name=local处理的数据及输出结果可以在本地文件系统，也可以在HDFS上；本地模式利于调试；yarn集群运行模式：MapReduce程序被提交到yarn集

在HDFS中有两种节点，分别是NameNode和DataNode。NameNode负责集群中与存储相关的调度，DataNode负责具体的存储任务。具体来说NameNode维护了整个文件系统的元数据信息，这些信息以两种形式的文件存储，一种是镜像文件（image文件），另一种是编辑日志（edit log）。NameNode会在文件系统启动时，动态地加载这些文件到内存中以响应客户端的读写请求。

在HDFS中，文件是以块（block）的形式存储的，而HDFS的设计初衷也是用来处理大文件的，使用抽象块正好可以满足这一需求。具体来说，比如一个很大的文件，在单一的节点上存储是不可能的，HDFS使用逻辑块的方式将这个很大的文件分成很多块，分别存储在各个节点机器上，从而实现了大文件的存储。    使用抽象块作为操作的单元，方便了存储系统的管理，具体来说，就是把文件块放在DataNode上存储，把

1、当客户端请求更新元数据时，namenode将在内存中更新元数据；2、同时，会在编辑日志（edits文件）中记录元数据的操作日志；----1、secondery namenode请求namenode是否需要合并（checkpoint）；2、namenode通过检查edits文件的大小，判断是否需要合并，并把结果告诉secondery namenode；3、若达到合并的条件，则

DataNode启动时是怎样寻找它所属的NameNode的呢？原来在它的块数据存储在它所在主机的本地文件系统中，比如我的是在如下的目录中在current目录下有BP-987952527-192.168.220.129-1498325297029，这个文件夹的名字是NameNode赋予它的，也可以说是NameNode给它打的一个标签，以表明该DataNode属于某个NameNode。

NameNode决定副本的存放的机制：第一个block副本考虑距离近客户端的；第二个block副本考虑距离远的（和第一个副本在不同的机架上）；第三个block副本在第一个机架的不同机器上；

客户端代码中的配置 > 客户端工程中的配置文件 > 客户端工程Jar文件中的配置文件

上周在虚拟机上安装了Hadoop，安装情况如下192.168.220.129  master192.168.220.130  slave1192.168.220.131  slave2配置好各个ip后，在虚拟系统中可以访问，http://192/168.220.129:50070  ，但是在笔记本的window上不能访问使用命令查看如下：可见，The addre

使用如下命令  ：  hdfs dfsadmin -report

配置JAVA_HOME/etc/profileexport JAVA_HOME=/home/hadoop/jdk1.8.0_121export PATH=$PATH:$JAVA_HOME/bin

http://blog.itpub.net/29409386/viewspace-1081603/