大数据Hadoop入门教程 | (一)概论

最新推荐文章于 2024-09-16 11:16:36 发布

qq_43479892

最新推荐文章于 2024-09-16 11:16:36 发布

阅读量518

点赞数

分类专栏： python 文章标签：大数据 hadoop python 计算机

本文链接：https://blog.csdn.net/qq_43479892/article/details/126434217

版权

本文介绍了大数据的基本概念，强调了Hadoop在大数据处理中的重要性，并详细阐述了数据分析的六步曲，包括明确分析目的、数据收集、处理、分析、展现和报告撰写。同时，讨论了数据的多样性和实时性在不同场景的应用，以及分布式与集群的区别。此外，还简要提及了操作系统的作用和Linux的发展历程。

摘要由CSDN通过智能技术生成

学习路线指引（点击解锁）	知识定位	人群定位
🧡 Python实战微信订餐小程序 🧡	进阶级	本课程是python flask+微信小程序的完美结合，从项目搭建到腾讯云部署上线，打造一个全栈订餐系统。
💛Python量化交易实战💛	入门级	手把手带你打造一个易扩展、更安全、效率更高的量化交易系统

数据是什么

数据是指对客观事件进行记录并可以鉴别的符号，是对客观事物的性质、状态以及相互关系等进行记载的物理符号或这些物理符号的组合，它是可识别的、抽象的符号。
它不仅指狭义上的数字，还可以是具有一定意义的文字、字母、数字符号的组合、图形、图像、视频、音频等，也是客观事物的属性、数量、位置及其相互关系的抽象表示。例如，"0、1、2”、“阴、雨、下降”、"学生的档案记录、货物的运输情况”等都是数据。

数据如何产生

对客观事物的计量和记录产生数据

企业数据分析方向

现状分析（分析当下的数据)：现阶段的整体情况，各个部分的构成占比、发展、变动；
原因分析（分析过去的数据)：某一现状为什么发生，确定原因，做出调整优化；
- 离线分析(Batch Processing):面向过去，面向历史，分析已有的数据；
  在时间维度明显成批次性变化。一周一分析(T+7),一天一分析（T+1),所以也叫做批处理。
- 实时分析(Real Time Processing | Streaming)：面向当下，分析实时产生的数据；所谓的实时是指从数据产生到数据分析到数据应用的时间间隔很短