文章目录
一、 大数据部门流程介绍
1.1 大数据部门业务流程分析
产品人品提需求(主要是公司各部门不限于产品经理)
→
数据部门搭数据平台、分析数据指标
→
数据可视化(报表、邮件、大屏幕展示等)
1.2 大数据部门组织结构
一般为大型互联网公司。
二、Hadoop概述
2.1 Hadoop是什么
Hadoop是一个由Apache基金会开发的分布式系统基础架构。
主要解决,海量数据的存储和海量数据的分析计算问题。
大数据一般指量级在PB量级以上的数据存储。
2.2 三大发行版本
1.Apache;2.Cloudera;3.Hortonworks
2.3 Hadoop的四大优势
1、高可靠性:底层有多个数据副本,可理解为复制了很多份数据。
2、高扩展性:在集群间分配任务数据,需要的时候可以加集群数。
3、高效性:并行工作,加快工作速度。
4、高容错性:可以自动将失败的任务重新分配。