![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 65
@轻流
这个作者很懒,什么都没留下…
展开
-
hadoop原来是这样的!
Hadoop是什么?Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用java语言实现开源软件框架,实现在大量计算机组成的集群中对海量数据进行分布式计算.Hadoop框架中最核心设计就是:HDFS和MapReduce.HDFS提供了海量数据的存储,MapReduce提供了对数据的计算.数据在Hadoop中处理的流程可以简单的按照下图来理解:数据通过Haddop...原创 2018-12-29 14:05:36 · 218 阅读 · 0 评论 -
大数据之Hadoop教程
Hadoop是一个开源框架,它允许在整个集群使用简单编程模型计算机的分布式环境存储并处理大数据。它的目的是从单一的服务器到上千台机器的扩展,每一个台机都可以提供本地计算和存储。“90%的世界数据在过去的几年中产生”。由于新技术,设备和类似的社交网站通信装置的出现,人类产生的数据量每年都在迅速增长。美国从一开始的时候到2003年产生的数据量为5十亿千兆字节。如果以堆放的数据磁盘的形式,它可以...原创 2019-01-15 15:13:25 · 338 阅读 · 0 评论 -
大数据岗位最新面试题~3.18
随着互联网时代的不断发展,现在越来越多的人都选择从事IT行业,然而能够在这个行业十几年,中间只换过两三次公司,那也算是行业界的一股清流,然而现在的公司并没有那么好做,都想进入BATJ,但是发现自己硬是差了很多,就连普通的企业都困难,这是为什么呢?难就难在面试题!下面分享我一个朋友在面试大数据岗位的时候所做的面试题,可以先看看:JAVA相关 List与Set的区别? HashMa...原创 2019-03-18 16:32:09 · 1511 阅读 · 0 评论 -
hadoop3.0新特性介绍
hadoop3.0新特性介绍1. 基于jdk1.8(最低版本要求) 2. mr采用基于内存的计算,提升性能(快spark 10倍) 3. hdfs 通过最近black块计算,加快数据获取速度(块大小:256M) 4. 支持多NameNode(实现了更加可靠的HA) 5. 引入EC纠删码技术(EC:Erasure Coding) 存储空间节省50% 6....原创 2019-07-16 09:30:00 · 628 阅读 · 0 评论