大数据
kwin_zhang
本博客上的所有文章仅供学习交流使用,无任何商业用途
展开
-
大数据专题(二)Hadoop
什么是Hadoophadoop中有三个核心组件:分布式文件系统:HDFS-- 实时将文件分布式储在很多服务器上;分布式运算编程框架:mapreduce – 实现在很多机器上并行计算;分布式资源调度平台: yarn – 帮用户调度大量的mapreduce程序,并合理的分配运算资源HDFS:...原创 2020-02-28 12:04:08 · 1103 阅读 · 0 评论 -
大数据专题(一)- 简介
一、什么是大数据在互联网技术发展到至今阶段,大量日常,工作等事务产生的数据都已经信息化,人类产生的数据量相比以前有了爆炸式的增长,以前传统的数据处理技术已经无法胜任,需求催生技术,一套用来处理海量数据的技术应运而生,这就是发数据技术。梳理海量数据的核心技术:海量数据的储存海量数据的运算这些核心技术的实现是不需要用户从零开始造轮子的储存和运算的都已经有大量的承受的框架来用。储存框架:...原创 2020-02-28 11:14:02 · 25998 阅读 · 2 评论