- 博客(3)
- 收藏
- 关注
RSS订阅转载 《KyLin学习理解》-01-KyLin麒麟的简介及其思想
1。诞生背景 HIVE是数据仓库，是把存储在HDFS分布式文件系统的存储文件映射到类似于关系型数据库的东西。 举个例子： 假设有一个文件存储在本地/opt/hzjs/lcc_work/pro.txt文件，文件的格式为1 产品120 23 5 115 358 2069-03-272 产品16 63 3 189 9 2045-04-273 产品9...
2018-10-18 17:35:36
246
转载 hadoop5个进程的作用
adoop是一个能够对大量数据进行分布式处理的软件框架，实现了Google的MapReduce编程模型和框架，能够把应用程序分割成许多的 小的工作单元，并把这些单元放到任何集群节点上执行。在MapReduce中，一个准备提交执行的应用程序称为“作业（job）”，而从一个作业划分出 得、运行于各个计算节点的工作单元称为“任务（task）”。此外，Hadoop提供的分布式文件系统（HDFS）主要负责各...
2018-06-23 16:44:34
671
转载 HDFS 基本概念&数据流
一、HDFS的基本概念1.1、数据块(block)HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。和普通文件系统相同的是，HDFS中的文件是被分成64M一块的数据块存储的。不同于普通文件系统的是，HDFS中，如果一个文件小于一个数据块的大小，并不占用整个数据块存储空间。1.2、元数据节点(Namenode)和数据节点(datanode...
2018-06-23 16:42:21
197
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人