大数据开发笔记汇总

定义
对于什么是大数据开发，它的定义官方给出的的定义是：链接：https://pan.baidu.com/s/1rTHqQd3tDTO2k1pJXhKkHQ 
提取码:5180，一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征，出自麦肯锡全球研究所。

从内容定义去看：从大数据开发的工作内容来看大数据开发主要负责大数据的大数据挖掘，数据清洗的发展，数据建模工作。

技术
一是大数据平台本身，一般是基于某些Hadoop产品如CDH的产品部署后提供服务。部署的产品里面有很多的组件，如HIVE、HBASE、SPARK、ZOOKEEPER，链接：https://pan.baidu.com/s/1rTHqQd3tDTO2k1pJXhKkHQ 
提取码:5180等。

二是ETL，即数据抽取过程，大数据平台中的原始数据一般是来源于公司内的其它业务系统，如银行里面的信贷、核心等，这些业务系统的数据每天会从业务系统抽取到大数据平台中，然后进行一系列的标准化、清理等操作，再然后经过一些建模生成一些模型给下游系统使用。

三是数据分析，在数据收集完成后基于这些数据要做一些什么样的处理，典型的如报表应用，那每天可能就是写SQL开发报表了；还有一些如风险监测等平台，都要基于大数据平台收集的数据来进行处理。