【大数据开发】大数据开发的一些基本概念

大数据开发的一些基本概念

1. 了解企业数据分析的步骤
2. 大数据分析的步骤
3. 大数据是什么
   <1>数据是什么？
   凡是对客观事物的联系以及性质进行描述的符号以及集合都属于我们的数据，数据可以是文字，图像，音频甚至是视频。
   <2>企业数据分析的基本流程
   企业数据分析流程一般三个阶段：现状分析、原因分析、预测分析
   1. 现状分析：对当下产生的数据进行分析，对数据的构成描述对象以及组成结构的实时分析
   2. 原因分析：对过去的数据进行分析，分析某个结果产生的原因或者为什么会产生这个影响
   3. 预测未来：对过去和现在数据分析的基础上，预测未来的走向，对决策者的决策具有一个参考作用。
   <3>大数据分析的基本流程
   大数据分析一本分为三个流程：离线分析，实时分析，机器学习
   1. 离线分析：对过去产生的数据进行分析，由于在时间上成批次变化，我们也叫做批处理，一般每天一分析（T+1)和每周一分析（T+7)
   2.实时分析：对当下产生的数据进行一个及时的分析，处理以及应用，一般时间间隔是秒级或者毫秒级，我们也叫做流处理。
   3.机器学习：是用数学算法对未来的形式做一个预测，根据数据的特征做预测的算法，一般由分类，聚类，关联和预测四种组成。
   <4>数据分析的基本流程：
   数据分析的理由以及使用方法 ——>数据搜集——>数据处理——>数据分析——>数据展示——>数据分析结果的撰写。
   1. 数据分析的理由以及使用方法包括为什么会产生这种数据分析，是什么导致开展研究，以及研究的方法比如使用经济学当中的PEST模型以及5W2H方法等
   2. 数据搜集就是如何获取到你要分析的数据：比如从数据库中获取，从网站日志中获取，通过爬虫获取数据库信息或者从公共网络中获取信息
   3. 数据处理也叫做数据预处理，包括对数据的格式，编码，单位，以及数值进行统一，将非结构化的数据变成结构化数据（二维表）。
   4. 数据分析是采用一些分析工具，学习一些分析工具的使用方法对处理后的数据进行分析，得到分析结果
   5. 数据展示及数据可视化，将数据以图表或其他生动的形式展现
   6. 对此次研究的一些总结，以及通过数据分析对未来的一些建议和预测，共决策者参考。
   以上就是数据开发的一些基本知识以及一些基本步骤，之后会给大家更新Hadoop的用法以及一些Linux和虚拟机的相关知识。