![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
qq_43801646
这个作者很懒,什么都没留下…
展开
-
hadoop之mapreduce
mapreduce 核心思想:让我们的运算程序并行在多台机器上执行! mapreduce运行平台YARN mapreduce程序应该是在很多机器上并行启动,而且先执行map task,当众多的maptask都处理完自己的数据后,还需要启动众多的reduce task,这个过程如果用用户自己手动调度不太现实,需要一个自动化的调度平台——hadoop中就为运行mapreduce之类的分布式运算程序开发...原创 2019-11-25 22:52:20 · 116 阅读 · 0 评论 -
hadoop之hdfs
#什么是大数据 1、有海量的数据 2、有对海量数据进行挖掘的需求 3、有对海量数据进行挖掘的软件工具(hadoop、spark、storm、flink、tez、impala…) 处理海量数据的核心技术 海量数据存储:分布式 海量数据运算:分布式 这些核心技术的实现不需要用户从零开始造轮子,存储和运算,有大量成熟的架框来用 存储架框 HDFS – 分布式文件存储系统 HBASE – ...原创 2019-11-24 22:53:56 · 232 阅读 · 0 评论