《从0开始学大数据》学习笔记 Day 1

最新推荐文章于 2023-03-28 09:50:26 发布

我叫CJJ

最新推荐文章于 2023-03-28 09:50:26 发布

阅读量120

点赞数

分类专栏：极客时间学习文章标签：大数据学习 hive

本文链接：https://blog.csdn.net/weixin_39401779/article/details/128710481

版权

极客时间学习专栏收录该内容

28 篇文章 1 订阅

订阅专栏

开篇

从事了java5年的小兵，从19年开始接触了大数据相关的系统，但也只是做业务开发，一直都没有系统去学习，在遇到极客时间，我时常养成学习的习惯，在这个数据遍布的时代和人工智能发展的时代，即使自己不做大数据与机器学习相关的开发，每个程序员也应该懂大数据和机器学习。将来，数据会越来越成为公司的核心资产和主要竞争力，公司的业务展开和产品进化也越来越朝着如何利用好数据价值的方向发展。不懂大数据和机器学习，可能连最基本的产品逻辑和商业意图都搞不清楚。如果只懂编程，工程师的生存空间会越来越窄，发展也会处处受限。

大数据技术发展史

不管是学习某门技术，还是讨论某个事情，最好的方式一定不是一头扎到具体细节里，而是应该从时空的角度先了解它的来龙去脉，以及它为什么会演进成为现在的状态。当你深刻理解了这些前因后果之后，再去看现状，就会明朗很多，也能更直接地看到现状背后的本质。说实话，这对于我们理解技术、学习技术而言，同等重要。

2004年

大数据发展的历程可谓在很早就出现了，最早起源于 Google 在 2004 年前后发表的三篇论文，也就是我们经常听到的“三驾马车”，分别是分布式文件系统 GFS、大数据分布式计算框架 MapReduce 和 NoSQL 数据库系统 BigTable，用来支撑搜索引擎。

2006 年

Doug Cutting 将这些大数据相关的功能从 Nutch 中分离了出来，然后启动了一个独立的项目专门开发维护大数据技术，这就是后来赫赫有名的 Hadoop，主要包括 Hadoop 分布式文件系统 HDFS 和大数据计算引擎 MapReduce

2007年

百度和阿里巴巴也开始使用 Hadoop 进行大数据存储与计算

2008年

Hadoop 正式成为 Apache 的顶级项目

2008~2011年

Facebook 发布了 Hive。Hive 支持使用 SQL 语法来进行大数据计算，比如说你可以写个 Select 语句进行数据查询，然后 Hive 会把 SQL 语句转化成 MapReduce 的计算程序。这样，熟悉数据库的数据分析师和工程师便可以无门槛地使用大数据进行数据分析和处理了。Hive 出现后极大程度地降低了 Hadoop 的使用难度，迅速得到开发者和企业的追捧。据说，2011 年的时候，Facebook 大数据平台上运行的作业 90% 都来源于 Hive。