1.1 大数据导论与Linux基础-大数据导论

大数据导论

• 数据是指对客观事件进行记录并可以鉴别的符号，是对客观事物的性质、状态以及相互关系等进行记载的物理符号或这些物理符号的组合，它是可识别的、抽象的符号。
• 它不仅指狭义上的数字，还可以是具有一定意义的文字、字母、数字符号的组合、图形、图像、视频、音频等，也是客观事物的属性、数量、位置及其相互关系的抽象表示。例如，“0、1、2…”、“阴、雨、下降”、“学生的档案记录、货物的运输情况”等都是数据。
• 对客观事物的计量和记录产生数据

一、企业数据分析方向

• 把隐藏在数据背后的信息集中和提炼出来，总结出所研究对象的内在规律，帮助管理者进行有效的判断和决策。
• 数据分析在企业日常经营分析中主要有三大方向：现状分析、原因分析、预测分析；
   现状分析（分析当下的数据）：现阶段的整体情况，各个部分的构成占比、发展、变动；
   原因分析（分析过去的数据）：某一现状为什么发生，确定原因，做出调整优化；
   预测分析（结合数据预测未来）：结合已有数据预测未来发展趋势。

原因分析

离线分析（Batch Processing）
面向过去，面向历史，分析已有的数据； 在时间维度明显成批次性变化。一周一分析(T+7)，一天一分析（T+1），所以也叫做批处理。

现状分析

实时分析（Real Time Processing |Streaming）
面向当下，分析实时产生的数据；
所谓的实时是指从数据产生到数据分析到数据应用的时间间隔很短，可细分秒级、毫秒级。
又叫流式处理（Streaming）

预测分析

机器学习（Machine Learning）
基于历史数据和当下产生的实时数据预测未来发生的事情；
侧重于数学算法的运用，如分类、聚类、关联、预测。