大数据介绍

1-大数据概念

• 大数据是指无法用传统的数据处理工具和方法，在合理的时间内进行捕获、管理和处理的大规模、复杂和多样化的数据集合。随着互联网、物联网、社交媒体等技术的发展，数据量呈指数级增长，大数据的概念应运而生。

• 大数据的普通认知：bigdata，无法用常规软件处理的数据集合，需要一种新的模式（分布式）去处理

• 大数据的核心思想：分而治之（分布式）

• 大数据解决的问题：

  • 海量数据的存储

  • 海量数据的计算

  • 海量数据的迁移

  • 海量数据的查询

• 大数据的应用场景：为生活赋能/大数据人工智能时代/数字化时代，如智慧城市、智能制造、金融风控、健康医疗、互联网广告等。

2-大数据特点

• 大：（数据量大）大数据的一个核心特点就是数据量巨大，通常用TB（太字节）、PB（拍字节）甚至更大单位来衡量。

• 多：（数据种类和来源多），大数据不仅包括传统的结构化数据，还包括半结构化和非结构化数据。例如，文本、图片、视频、音频等。

• 值：（低价值密度）虽然数据量庞大，但有用信息的密度较低，需要高效的数据处理技术来提取价值。

• 快：（增长速度快，处理速度快，获取速度快）数据流动速度快，需要实时或近实时处理。

• 信：结果准确，可以依赖

3-大数据处理步骤

• 明确分析的目的和思路：把分析的目的分解成若干个不同的分析要点

• 数据收集：一般数据来源为数据库、第三方数据统计工具、文件数据等

• 数据处理：（E抽取T转换L加载）主要包含数据清洗、数据转化、数据提取、数据计算等

• 数据分析：提取为数据有价值的信息的过程

• 数据可视化：一般能用图说明问题的不用表格，能用表格说明问题的就不要用文字

• 撰写报告：数据分析报告作为结论总结