Hadoop学习

大数据主要时解决海量数据的存储和分析计算的问题。
大数据部门组织结构（重要）
平台组： Hadoop Flume Kafka HBase Spark等框架平台搭建、集群性能监控、集群性能调优
数据仓库组： ETL工程师-数据清洗 （过滤掉不合法的数据、空值等）
Hive工程师-数据分析、数据仓库建模
数据挖掘组：算法工程师
推荐系统工程师
用户画像工程师
报表开发组：JavaEE工程师

Hadoop的优势：
1）高可靠性
2）高扩展性
3）高效性：Hadoop是并行工作的，以加快任务处理速度
4）高容错性：能够自动将失败的任务中心分配

Hadoop组成——1.x和2.x的区别