Ai_xiaohua的博客

克隆虚拟机报错无法上网问题：克隆好虚拟机改好IP地址后重启，IP地址变为127.0.01，困扰了两天，查百度都是一个方法，最后找到一位大神发的，成功解决原文地址：https://blog.51cto.com/addam/1839518/etc/init.d/network restartRestarting network (via systemctl): Job for network.service failed because the control process exited with

MapReduce重点知识有多少个分片就有多少个map任务；分片大小默认为64MB，jar包的提交位置：HDFSmap任务接受的类型是字典{key，value}map任务的分配是NM通过定时心跳机制汇报自身情况的时候向Rm领取任务读取输入文件内容，解释成key，value对，对文件每一行解析成key，value对，一个键值对调用一次map函数。（key：数据的字符开头偏移量； value：数据内容）map任务处理读取输入文件内容，解释成key，value对，对文件每一行解析成key，

（一）通过shell命令访问HDFS【实验原理】HDFS是hadoop平台的核心组成之一。熟悉使用hadoop平台需要熟练访问HDFS。HDFS的访问方式有多种。可通过web访问，也可通过shell方式或者API方式访问。基本操作有对文件的读、写、追加、删除等。新建文件夹、删除文件夹等。还可显示文件及文件夹的属性。【实验环境】操作系统：Linux Hadoop版本：2.6.5或以上...

1、安装虚拟机2、安装ubuntu操作系统Linux操作系统是一套自由传播的类UNIX操作系统，是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。主流的Linux发行版本有：Ubuntu、CentOS、Red Hat、Suse等。本书选用Ubuntu 16.04 桌面版。（1）下载Ubuntu ISO镜像文件。到Ubuntu官网选择对应的版本进行下载。本书选择...

HDFS优点高容错性数据自动保存副本丢失后，自动恢复适合批处理移动计算而非数据数据位置暴露给计算框架（Block偏移量）适合大数据处理GB,TB,甚至PB级数据百万规模以上的文件数量10K+节点可构建在廉价机器上通过多副本提高可靠性提供了容错和恢复机制HDFS缺点低延迟数据访问比如毫秒级低延迟与高吞吐率小文件存取占用NameNode大量内存寻道时间超过读取时间并发写入，文件随机修改一个文件只能有一个写者仅支持appendBlock的副本放置策略第一个