myllxy

1.Hadoop进入安全模式且手动退出后马上再次进入 很有可能是这个原因： 查看hadoop-root-namenode-node1.log如下   扩展虚拟机磁盘空间将/dev/sda2分区改大或者删除本地文件系统中不必要的文件，随后便可退出安全模式。   持续更新！...

一：reduce任务主动从磁盘中的mapper任务复制其输出键值对。mapper任务可能会有很多，因此reducer会复制多个mapper的输出。 二：把复制到reducer本地数据全部进行合并，把分散的数据合并成一个大的数据。在对合并后的数据排序。 三：堆排序后的键值对调用reduce方法。键相同的键值对调用一次reduce方法，每次调用会产生零个或多个键值对。最后把这些输出的简直对写入到hdf...

创建一个maven项目： 在pom.xml中插入以下代码，导入对应包：这里注意<mainClass>cn.itcast.hadoop.wordcountdrive</mainClass>，不添加主类路径hadoop  jar ***.jar命令无法找到执行主类   <dependencies> <dependency> ...

1.数据读取过程 一般的文件读取操作包括：open 、read、close等  客户端读取数据过程，其中1、3、6步由客户端发起： 客户端首先获取FileSystem的一个实例，这里就是HDFS对应的实例： ①客户端调用FileSystem实例的open方法，获得这个文件对应的输入流，在HDFS中就是DFSInputStream ②构造第一步中的输入流DFSInputStream时，...