2021-06-02

大数据基础

基本概念与关系： 包括 hdfs, mapreduce, spark, pig, hive, streaming, storm, zookeeper,
https://cloud.tencent.com/developer/article/1042387
hdfs底层原理： https://www.jianshu.com/p/855dff19fd66
spark： https://www.w3cschool.cn/spark/xp4kiozt.html
spark编程指南： https://endymecy.gitbooks.io/spark-programming-guide-zh-cn/content/
基本概念： https://www.infoq.cn/article/zk8eyph0wn5xuywazstj
官网： https://spark.apache.org/docs/latest/

yarn:
官网： http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html

【和HDFS的关系】Yarn和HDFS共同属于Hadoop开源项目，两者相互协作完成任务调度和执行的功能。HDFS是一个分布式文件存储系统，用户要提交的任务首先打包上传到HDFS系统中，然后再由Yarn进行调度。Yarn将任务调度到某台具体的机器上，在该机器上从HDFS下载打包的用户任务，然后再执行任务。
【和MapReduce/Spark/Flink的关系】MapReduce/Spark/Flink均为分布式计算框架，是一个抽象层用于帮助用户编写分布式计算程序。编写好的分布式计算程序需要运行在某个能够提供计算资源的平台上，Yarn就是这样的一个平台。同类的平台还有Mesos和Kubernetes。
框架：

介绍： https://zhuanlan.zhihu.com/p/54192454

容器 调度详解： https://juejin.cn/post/6844903608262082568

hive:
介绍： https://juejin.cn/post/6844904005756272654

数据存储：
mysql存储：https://juejin.cn/post/6844903970989670414
mysql除了使用innodb，还用了myisam

分布式数据库：
hbase:
https://zhuanlan.zhihu.com/p/65436302
https://zhuanlan.zhihu.com/p/145551967这个很清楚。

kafka数据存储：
分区partiion的重要性: https://www.zhihu.com/question/28925721

rocketMQ:
https://www.jianshu.com/p/9c68825d4474

hive介绍：
https://developer.aliyun.com/article/673650

zookeeper:
分布式集群中用来同步信息的
https://zhuanlan.zhihu.com/p/108765831
这个很好： https://zhuanlan.zhihu.com/p/64702090

开源：
云原生社区： https://jimmysong.io/kubernetes-handbook/guide/migrating-hadoop-yarn-to-kubernetes.html
Awesome Cloud Native: https://jimmysong.io/awesome-cloud-native/#api-gateway

云：
阿里云： https://www.aliyun.com/
腾讯云： https://cloud.tencent.com/
华为云: https://www.huaweicloud.com/

数据湖和数据仓库：https://cloud.tencent.com/developer/article/1800089?from=information.detail.%E6%96%87%E6%9C%AC%E5%8F%8D%E5%9E%83%E5%9C%BE%E6%8A%80%E6%9C%AF