- 博客(3)
- 收藏
- 关注
RSS订阅原创 HDFS读写原理
namenode职责: 1. 响应所有客户端的请求 2.维护整个文件系统元数据(目录树,文件快的对应信息) 3.管理众多datanodehadoop fs -put 1.txt /aaa(shell客户端上传文件流程,写数据) 1. shell客户端请求(RPC)namenode上传文件,namenode检查datanode的节点健康状况和磁盘使用情况 2. name...
2018-04-30 22:02:48
279
原创 hadoop的核心组件和HDFS存储数据原理
Hadoop核心组件(主从集群)HDFS(分布式文件系统,集群):解决数据的存储,其角色:namenode(主), datanode, secondarynamenode(主的秘书)YARN(作业调度和集群资源管理的框架,集群):解决资源任务调度,其角色:resourcemanager(主),nodemanager(从)MAPREDUCE(分布式运算编程框架):解决海量数据计算集群角色规划 ...
2018-04-30 20:09:47
825
原创 数据仓库和hive语句中的分区表和分桶表
数据仓库中从各数据源获取数据以及在数据仓库内的数据转换和流动都可以认为是ETL（抽取Extra,转化Transfer,装载Load）的过程,ETL是数据仓库的流水线.数据仓库(data warehouse)与数据库的区别:数据仓库(data warehouse)-->面向分析, 不生产数据, 不消费数据, 只是数据的搬运工, 为了分析方便OLTP-->面向事务, 操作型处理, ...
2018-04-23 19:39:05
1579
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人