【开篇】课程介绍&学习指南

课程介绍&学习指南

写在前面的话

你好，我是李鹏程，高级数据工程师、大数据讲师。这次给大家带来的是《大数据Hadoop基础入门》课程。

2013年被称为大数据元年，随着互联网的快速发展和信息爆炸式增长，带来了数据存储、运算方式的革命。一种全新的，完全依附于分布式架构的技术解决方案，被称为大数据。

虽然在分布式架构下，数据存储的延迟会较高，数据处理时的调度耗时也较大；但它也带来了极强的扩展性，而且在海量数据规模下吞吐量极大，处理速度非常快（海量数据规模下，调度时间远远小于处理时间），解决了大数据规模下的存储、处理的痛点。

在大数据技术提供了分布式存储、分布式通用计算的基础上，针对不同场景（如数据仓库、实时流处理、图计算、分布式机器学习、搜索与检索），有丰富的大数据产品可供选择，致力解决易用性问题。

将来5G时代的来临，企业的数据量会更加庞大，那么传统数据处理架构便要逐步更换为大数据架构。大数据的人才也会非常紧缺。而且正因为大数据的兴起，所以人工智能也换发了第二春，大数据与人工智能是相辅相成的两个方向。

但一般而言，大数据的入门会有一定的门槛；首先是因为环境搭建比较麻烦，很容易劝退；其次框架众多