课程介绍&学习指南
写在前面的话
你好,我是李鹏程,高级数据工程师、大数据讲师。这次给大家带来的是《大数据Hadoop基础入门》课程。
2013年被称为大数据元年,随着互联网的快速发展和信息爆炸式增长,带来了数据存储、运算方式的革命。一种全新的,完全依附于分布式架构的技术解决方案,被称为大数据。
虽然在分布式架构下,数据存储的延迟会较高,数据处理时的调度耗时也较大;但它也带来了极强的扩展性,而且在海量数据规模下吞吐量极大,处理速度非常快(海量数据规模下,调度时间远远小于处理时间),解决了大数据规模下的存储、处理的痛点。
在大数据技术提供了分布式存储、分布式通用计算的基础上,针对不同场景(如数据仓库、实时流处理、图计算、分布式机器学习、搜索与检索),有丰富的大数据产品可供选择,致力解决易用性问题。
将来5G时代的来临,企业的数据量会更加庞大,那么传统数据处理架构便要逐步更换为大数据架构。大数据的人才也会非常紧缺。而且正因为大数据的兴起,所以人工智能也换发了第二春,大数据与人工智能是相辅相成的两个方向。
但一般而言,大数据的入门会有一定的门槛;首先是因为环境搭建比较麻烦,很容易劝退;其次框架众多