浅沫~
加油 (ง •̀o•́)ง (ง •̀o•́)ง
展开
-
Hadoop生态系统---各个模块介绍
Hadoop生态系统1.1 HDFSHDFS是一个分布式文件系统,是做顺序读写的。HDFS主要负责整个分布式文件的存储,即怎么用成百上千台服务器完成数据的存储。1.2 YARNYARN主要负责资源的调度,即数据存储之后需要进行相关的处理,处理之前需要有相关的框架去调度计算资源,底层资源主要靠YARN框架进行调度,YARN专门负责调度内存、cpu、带宽等计算资源。以上组件如何完成具体的计算工作:1.原创 2022-03-01 10:54:09 · 1877 阅读 · 0 评论 -
数据仓库---Hive
数据仓库Hive入门介绍原创 2022-09-02 20:15:19 · 899 阅读 · 0 评论 -
HBase实现原理及运行机制
HBase原理原创 2022-03-17 16:47:19 · 2071 阅读 · 0 评论 -
分布式数据库HBase
HBase基础原创 2022-03-02 21:20:30 · 1621 阅读 · 0 评论 -
Hadoop命令
Hadoop基本命令原创 2022-03-02 14:36:25 · 1416 阅读 · 0 评论 -
HDFS数据读写过程及编程实例
HDFS读写数据基本原理及代码实例详解原创 2022-03-02 10:36:39 · 1679 阅读 · 0 评论 -
HDFS体系结构
1. HDFS体系结构3. HDFS存储原理4. HDFS读写过程原创 2022-03-01 22:09:49 · 228 阅读 · 0 评论 -
Hadoop---HDFS<分布式文件系统>基本概念
大数据的两个核心技术之一---HDFS原创 2022-03-01 16:01:54 · 332 阅读 · 0 评论 -
spark相关知识
Spark基础知识原创 2019-07-16 16:53:22 · 233 阅读 · 0 评论 -
RDD编程总结
一:RDD相关知识1.RDD特点:可持久化,可序列化,可分区。2.对RDD进行分区的优点:增加并行度;减少通信开销。3.RDD分区的一个原则是使分区的个数尽量等于集群中的CPU核心数目。二:加载RDD(SparkContext简写为sc)1.从文件系统中加载数据file=sc.textFile("file://+文件的具体路径)aq:从/home/hadoop/Down...原创 2019-07-15 21:44:35 · 495 阅读 · 0 评论 -
Hadoop和Spark环境的搭建(课后总结)
Hadoop和Spark环境的搭建原创 2019-06-20 23:24:07 · 206 阅读 · 0 评论 -
大数据技术原理与应用【Hadoop】(期末总结)
Hadoop入门概述原创 2018-06-03 15:16:25 · 161 阅读 · 0 评论