1-大数据概念
大数据是指无法用传统的数据处理工具和方法,在合理的时间内进行捕获、管理和处理的大规模、复杂和多样化的数据集合。随着互联网、物联网、社交媒体等技术的发展,数据量呈指数级增长,大数据的概念应运而生。
大数据的普通认知:bigdata,无法用常规软件处理的数据集合,需要一种新的模式(分布式)去处理
大数据的核心思想:分而治之(分布式)
大数据解决的问题:
海量数据的存储
海量数据的计算
海量数据的迁移
海量数据的查询
大数据的应用场景:为生活赋能/大数据人工智能时代/数字化时代,如智慧城市、智能制造、金融风控、健康医疗、互联网广告等。
2-大数据特点
大:(数据量大)大数据的一个核心特点就是数据量巨大,通常用TB(太字节)、PB(拍字节)甚至更大单位来衡量。
多:(数据种类和来源多),大数据不仅包括传统的结构化数据,还包括半结构化和非结构化数据。例如,文本、图片、视频、音频等。
值:(低价值密度)虽然数据量庞大,但有用信息的密度较低,需要高效的数据处理技术来提取价值。
快:(增长速度快,处理速度快,获取速度快)数据流动速度快,需要实时或近实时处理。
信:结果准确,可以依赖
3-大数据处理步骤
明确分析的目的和思路:把分析的目的分解成若干个不同的分析要点
数据收集:一般数据来源为数据库、第三方数据统计工具、文件数据等
数据处理:(E抽取T转换L加载)主要包含数据清洗、数据转化、数据提取、数据计算等
数据分析:提取为数据有价值的信息的过程
数据可视化:一般能用图说明问题的不用表格,能用表格说明问题的就不要用文字
撰写报告:数据分析报告作为结论总结