说说大数据

---

title: 说说大数据
date: 2022-01-14 22:47:21
tags: [data]
categories: big data

大数据，我们现在应该听的很多，那么应该掌握哪些知识才算入门了大数据呢？如何去学习它呢？

今天我会用5年大数据经验，通过通俗易懂的语言，来给大家普及这方面的知识。

首先，分2块：分布式计算和分布式存储。计算离不开存储，因为你计算的数据是存储在不同位置的，你计算的中间结果和最终结果也是要存储在不同位置的。

分布式存储

2003年google发布三篇论文，第一篇，分布式文件存储系统GFS（Google File System）,这就是hadoop hdfs的前身，它是一个可扩展的分布式文件存储系统，用于大型的、分布式的、可扩展的、对大量数据进行访问的应用。运行于普通的廉价的硬件上，提供容错服务，可以给大量用户提供稳定的总体性能较高的服务。

发展至今，我们现在所用到的大数据存储系统，大概有一半是基于hdfs构建的，比如Hive（关系型数据库）、Hbase（非关系型数据库），后面我会去讲讲这些组件的一些基本概念，一个个讲，目标是将我这几年工作学习中用到的组件都介绍一遍，还有遇到的一些基本问题，及如何正确地去使用它们。

你要学习的是hdfs、hive、hbase的基本概念和基本使用。

分布式计算

2004年第二篇论文，分布式计算系统MapReduce，分布式批处理计算系统MapReduce是一个编程模型，通过将一个任务分拆成多个并行处理的任务，达到分布式计算的目的。

以这种模式编写的程序，可以在大型集群上并行地调度、运行，无需程序编写者考虑分布式计算底层的处理逻辑、资源管理、机器之间的通信等细节问题。

目前基于MapReduce思想，实现的计算引擎有很多，hive、spark、flink算是目前使用比较广泛的计算框架。

大家要学习分布式计算，hive是你必须要掌握的分布式数据库，通过hive sql实现分布式计算。

好了，今天就到这里，下期更新hive的知识。

---

Keep reading, Keep writing, Keep coding.

欢迎关注我的微信公众号，比较喜欢分享知识，也喜欢宠物，所以做了这2个公众号：

喜欢宠物的朋友可以关注：【电巴克宠物Pets】

一起学习，一起进步。