![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
小施同学
每天一小步
展开
-
Hadoop之HDFS
HDFS简介 HDFS是Hadoop的分布式文件储存系统(Hadoop Distributed File System),主要为了解决大数据的处理问题。 HDFS的储存单元 HDFS会将一个文件分成固定大小的数据块,将其进行分布储存,储存到不同的节点上。为了防止部分服务器宕机,储存还会储存副本,默认为每个数据块有3个副本,并且储存在不同的数据节点上。 NameNode NameNode...原创 2019-05-13 22:09:58 · 110 阅读 · 0 评论 -
HDFS的读写过程
HDFS的写文件 把文件切分成block,然后第一个块响应给namenode,namenode给客户端返回给第一个block储存的地址(包括block副本)。客户端接收到该信息,开始吧块分成更小packet,开始向datanode写入block,类似管道的运输方式运输packet。运输完成返回给客户端信息,客户端再从namenode获取第二个block的位置,重复之。 HDFS的读文件 客户...转载 2019-05-15 09:54:57 · 131 阅读 · 0 评论 -
Hadoop报错java.lang.UnsupportedClassVersionError: com/sjt/mr/myjob/MyJob : Unsupported major
把jar包丢入HDFS并且运行的时候报错,是因为编译环境不一致导致,windows上用的jdk1.8,linux中的是1.7。只要改变一下windows的编译环境。 右键项目工程,选择Properties 把环境修改成1.7 ...原创 2019-05-17 19:05:21 · 514 阅读 · 0 评论