从BAT大数据工程师那里总结的大数据学习方法

认识大数据

什么是大数据？可能有人会说写字楼的所有人的资料信息就是个大数据。NO！这里的数据只能说比较大，但却不能称之为大数据。百度百科上给出了很明确的解释“大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。”

 

很多初学者，对大数据的概念都是模糊不清的，大数据是什么，能做什么，学的时候，该按照什么线路去学习，学完往哪方面发展，想深入了解，想学习的同学欢迎加入大数据学习qq群：199427210，有大量干货（零基础以及进阶的经典实战）分享给大家，并且有清华大学毕业的资深大数据讲师给大家免费授课，给大家分享目前国内最完整的大数据高端实战实用学习流程体系

 

 

大数据有五个特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。其中Volume就是普遍认为的数据足够大，因此数据大并不能说就是大数据，话句话说数据大只是大数据其中的一个特点。

大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

现在我们“从相认到相识”，清楚的认识什么是大数据，如果区分大数据和数据大，是我们学习大数据走的第一步。

怎么开始学

拥有了“第一砖”后就是你即将选择师门的时候了，敲开山门的“第二砖”则是学习大数据的基础，就如同在门派中修炼内功，有助你行走江湖，话不多说我们来看看会涉及到哪些基础吧！

1、 javaSE，EE(SSM)

90%的大数据框架都是java写的。

如：MongoDB--最受欢迎的，跨平台的，面向文档的数据库。 Hadoop--用Java编写的开源软件框架，用于分布式存储，并对非常大的数据集进行分布式处理。

Spark --Apache Software Foundation中最活跃的项目，是一个开源集群计算框架。

Hbase--开放源代码，非关系型，分布式数据库，采用Google的BigTable建模，用Java编写，并在HDFS上运行。

2、就是大数据里面的基础和工具

要想建一座稳固的高楼大厦基础是必须打好的，掌握好Linux必备知识，熟悉python的使用与爬虫的编写搭建Hadoop（CHD）基础，为学习大数据技术打好基础

 

 

 

进阶技术

1、大数据离线分析

掌握大数据核心基础组件：HDFS，MapReduce及yarn。掌握MapReduce编程思想及通用大数据计算平台：“spark”

可以通过实战项目熟悉用户行为分析业务的背景，掌握离线数据处理的流程（用户分析项目是离线处理经典的项目）、架构及相关技术的运用。

2、、大数据实时计算

掌握实时处理主流技术组件：kafka，spark streaming，flink，storm，hbase

再通过实时交易监控项目来融合自己学习的

总结：希望能对大数据有兴趣的朋友一种启发式作用，方法的学习还需要在有兴趣的基础上刻苦专研、融会贯通。

大数据是一门技术，技术的学习中会有很枯燥的时候，坚持下去，你的成就感就会慢慢生成，接下来的大数据学习便趣味横生，得心应手啦！

“学海无涯苦作舟”，任何一门新知识的学习开端都是很苦的，但是当你咬牙坚持下去，你就会成功，祝大家学有所成！