![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
m0_46621363
这个作者很懒,什么都没留下…
展开
-
MapReduce框架
1.MapReduce的思想核心是分 而治之, 充分利用了并行处理的优势。原创 2020-09-29 18:04:19 · 246 阅读 · 0 评论 -
HDFS分布式文件存储
1.hdfs的一些概念: 典型的 Master/Slave 架构 分块存储(block机制)hadoop2.X默认是128M 命名空间(NameSpace) HDFS 支持传统的层次型文件组织结构。用户或者应用程序可以创建目录然后将文件保存在这些目录里。文件系统名字空间的层次 结构和大多数现有的文件系统类似:用户可以创建、删除、移动或重命名文件。namenode负责维护文件系统的名字空间,任何对 文件系统名字空间或属性的修改都将被Namenod...原创 2020-09-28 15:13:56 · 221 阅读 · 0 评论 -
初识大数据
1,大数据技术解决的主要是海量数据的存储和计算。 hadoop分为广义和狭义之分: 狭义的hadoop指的是一个框架,hadoop是由三部分组成:hdfs:分布式文件系统,作用是存储;mapreduce:分布式离线计算框架,作用:计算;yarn:资源调度框架; 广义的hadoop不仅仅包含了hadoop框架,还有一些辅助的框架,flume,sqoop,hive,hbase等,指的是一个生态圈。2,大数据的定义: 大数据是指无法在一定时间范围内用常规软件工具...原创 2020-09-26 21:07:53 · 130 阅读 · 0 评论