大数据-概览

---

前言

最近由于工作变动，涉及到数字化营销中CDP的工作内容，除了营销相关的业务支持，有非常多的关于大数据的知识。针对自己的学习过程进行一下记录，对自己也起到一个督促。

---

一、大数据是什么？

大数据随着前几年互联网的热度受到了人们的广泛关注，给人们感觉好像是只有互联网产生了大数据。其实大数据早已有之，比如水文信息、气温信息、海域的温度潮汐、国家的地理信息等，这些信息都是经年累月的积累了海量的数据，这些数据可以用于天气预报、气候变化研究、流域规划等等。而随着互联网产业的发展，个人产生的信息在迅速的增长，随着产业互联网和智能设备的发展，各种智能设备也在不断产生信息。大数据就是指没办法按照传统的软件处理模式在一定时间内处理的海量数据集。

二、大数据特征

1.海量

现在每个人每天在产生海量的数据，聊天记录、购物记录、支付记录、出行记录等等，预计全国每天可能新增几十亿乃至几百亿条记录。智能设备比如智能汽车每天会产生20GB数据，如果是自动驾驶汽车每天会产生4TB的数据。

2.结构多样

数据来源具有多样性，可能来自互联网、来自企业、来自智能设备。数据结构可能是结构化的、半结构化的、非结构化的。

3.价值密度低

大数据中的单条数据价值很低，只有在数据集大到一定程度所体现的一定代表性才具有一定价值，也就是单条少量数据无意义，大数据集经过一定分析和挖掘之后才具有综合价值。比如单个人的每天出行记录无意义，如果分析整个城市人口的出行记录可以对交通规划和城市区域定位有一定指导意义。

4.快速处理

除了有大量的已有数据外、每天还会产生海量的新增数据，而这些数据所蕴含的价值可能会随着时间而逐渐降低。所以针对大数据的分析和挖掘就需要快速处理，如果处理缓慢可能就导致分析结果跟现实情况产生偏差或者结论完全失去价值。

三、大数据应用和价值

大数据可以帮助城市进行预防犯罪、构建智慧交通，帮助企业向用户进行商品和服务的推荐，提升营销的针对性，帮助电力公司进行实时监控和预测等等。

四、数据处理类型

一般系统平台针对处理分为两类，一类是支持业务流程的系统【OLTP】，一类是支持数据分析的系统【OLAP】。

1.OLTP

事务处理基本负责对业务数据的新增、修改、删除等业务操作，操作特点为少量数据查询，少量实时更新。主要是对业务数据进行事务级别的操作，主要侧重于业务的准确和数据的持久化。存储引擎多选择关系型数据库作为持久化存储组件、其他类型数据库可能作为缓存来加快访问速度。

2.OLAP

分析处理基本对大量数据进行分析查询业务，特点就是数据量大、查询复杂、批量离线插入数据。侧重于对大数据集进行分析，数据集批量更新或新增。其中如果系统预设的一些分析指标和分析内容为固化查询，如果是用户或分析人员根据需求发起的重复性很低的查询为即席查询。

---

总结

针对大数据的来源、作用、价值、概念进行一些初步的了解，对其中一些术语进行介绍，为接下来的学习奠定一点基础