![](https://img-blog.csdnimg.cn/20190927151124774.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Juicy_Big_Data
文章平均质量分 94
datawhale的大数据教程:https://github.com/datawhalechina/juicy-bigdata/
JxWang05
这个作者很懒,什么都没留下…
展开
-
Jbd8:总结
Jbd8:总结1. 框架综述2. 大数据分析引擎的发展简史2.1 萌芽阶段(2003-2008)2.2 快速发展阶段(2009-2014)2.3 成熟阶段(2015-至今)2.4 大数据分析引擎发展方向1. 框架综述一般来说,大数据框架在总体上分为存储引擎和计算分析引擎存储引擎通常用来存储海量数据,而分析引擎通常用来分析海量数据2. 大数据分析引擎的发展简史值得说明的是,该时间标注的是技术出现的时间。在生产环境中,这些技术得到大量运用的时间要比出现时间晚5-10年左右。2.1 萌芽阶段(原创 2022-03-23 14:39:32 · 1025 阅读 · 0 评论 -
Jbd7:Spark
Jbd7:Spark0. 引言1. Spark概述1.1 Spark的诞生1.2 Spark与Hadoop、MapReduce、HDFS的关系1.3 Spark生态体系2. Spark编程模型2.1 RDD概述2.2 RDD定义2.3 RDD五大特性2.3.1 分区2.3.2 并行计算2.3.3 依赖关系2.3.4 KV分区器2.3.5 优先位置列表2.4 RDD操作函数3 Spark架构原理3.1 Spark计算阶段3.2 如何划分计算阶段3.3 Spark 作业管理3.4 Spark 执行过程4. Sp原创 2022-03-23 14:39:04 · 2219 阅读 · 2 评论 -
Jbd6:Hive
Jbd6:Hive0. 数据仓库0.1 为什么要有数据仓库0.2 数据仓库概念0.3 数据仓库的体系结构0.4 面临的挑战1. Hive基本概念1.1 概述1.2 产生背景1.3 Hive与Hadoop生态系统1.4 Hive与传统数据库的对比1.5 模拟实现Hive2. Hive核心概念2.1 Hive数据类型2.1.1 基本数据类型2.1.2 隐式转换2.1.3 复杂类型2.1.4 示例2.2 Hive数据模型2.2.1 库2.2.2 表2.2.3 分区2.2.4 分桶3. Hive系统结构3.1 用户原创 2022-03-21 21:57:17 · 38708 阅读 · 0 评论 -
Jbd5:MapReduce
传统并行传统的程序都是以单指令、单数据流的方式顺序执行虽然这种方式比较符合人类的思维习惯,但是,其性能受到单台机器的限制,可扩展性较差分布式并行分布式并行程序可以运行在由大量计算机构成的集群上从而可以充分利用集群的并行处理能力而且可以向集群中增加新的计算节点来进行扩充MapReduce的核心是两个函数:Map和Reduce,其核心思想源自函数式编程语言。MapReduce设计的一个理念就是“计算向数据靠拢”,而不是“数据向计算靠拢"原创 2022-03-20 21:37:03 · 2069 阅读 · 0 评论 -
Jbd4:Hbase
Jbd4:Hbase0. 背景0.1 Hadoop的局限性0.2 HBase VS 传统数据库0.2.1 数据类型0.2.2 数据库类型0.2.3 数据库区别1. 概述1.1 HBase 简介1.2 HBase 访问接口2. HBase 数据模型2.1 数据模型概述2.2 模型相关概念2.3 数据坐标2.4 概念视图2.5 物理视图2.6 面向列的存储3. HBase的实现原理3.1 HBase功能组件3.2 表和Region3.2.1 相应概念3.2.2 分裂region3.2.3 region详情3.3原创 2022-03-19 22:12:23 · 1861 阅读 · 0 评论 -
Jbd3:HDFS
Jbd3:HDFS1. 概述1.1 分布式文件系统1.1.1 块的对比1.1.2 块的大小1.1.3 系统设计1.1.3.1 整体设计1.1.3.2 主节点、名称节点1.1.3.3 从节点、数据节点1.1.3.4 多副本设计1.2 HDFS简介1.2.1 优点1.2.1 缺点2. 体系结构3. 存储原理3.1 冗余存储3.2 存取策略3.2.1 数据存放3.2.2 数据读取3.2.3 数据复制3.3 错误与恢复3.3.1 主节点、名称节点出错3.3.2 从节点、数据节点出错3.3.3 数据出错4. 读写过程原创 2022-03-17 20:43:02 · 1303 阅读 · 0 评论 -
Jbd2:Hadoop
Jbd2:Hadoop1. 发展历史2. 主要特性3. 部分组件3.1 HDFS3.2 HBase3.3 Sqoop3.4 Zookeeper4. 实践操作4.1 创建Hadoop用户4.2 安装Java4.2.1 安装jdk4.2.2 修改环境变量4.2.3 SSH登录权限设置4.3 单机版Hadoop4.3.1 安装Hadoop4.3.2 修改系统环境变量4.3.3 修改hadoop-env.sh文件配置4.4 伪分布式Hadoop4.4.1 修改core-site.xml文件配置4.4.2 修改hdf原创 2022-03-15 23:44:37 · 1557 阅读 · 0 评论 -
Jbd0:前言 & Jbd1:概述
Jbd00:前言1. Ubuntu2. 环境安装1. Ubuntu最近气温升高天气渐热,手里的全能本发热严重,开虚拟机的话烫到爆炸,所以还是继续用腾讯云吧,从centos换到ubuntu:ubuntu@VM-0-12-ubuntu:/opt$ uname -aLinux VM-0-12-ubuntu 5.4.0-96-generic #109-Ubuntu SMP Wed Jan 12 16:49:16 UTC 2022 x86_64 x86_64 x86_64 GNU/Linux然后腾讯云给的原创 2022-03-15 19:46:46 · 998 阅读 · 0 评论