4.MapReduce框架(学习笔记)
文章平均质量分 60
自学
YANG_xiao_QI
这个作者很懒,什么都没留下…
展开
-
1.HDFS的初步了解
传统扩容的方式:1.纵向扩容:增加磁盘和内存2.横向扩容:增加服务器数量主要目的: 解决海量数据存储问题,和上传下载效率实现方式: 将大文件分成多个数据块以并行(同时)方式存储到不同的服务器中,每个服务器存储两个数据块进行备份,这样每个服务器存储的文件要小很多,再增加一台服务器,专门记录,文件被切割后的数据块信息及数据块的存储位置信息(这里借用一个图演示一下实现方式,DataNode存储数据块,NameNode存储信息和管理)1.NameNode(名称节点,master主服务器)2.Data原创 2021-06-17 17:36:00 · 254 阅读 · 1 评论 -
wordcount实验
1.打开idea,Fire一个新project找到maven创建完成后pom.xml添加新内容<dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.9.0</version>原创 2021-01-15 16:17:14 · 546 阅读 · 0 评论