![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
qq_44238187
这个作者很懒,什么都没留下…
展开
-
HDFS读写流程
读:写:客户端与NameNode建立通信,请求上传,NameNode检查目标文件和父级目录是否存在NameNode返回是否可以上传客户端请求上传第一个blockNameNode检查元数据池,根据副本配置等返回可用DataNode信息如A B C客户端请求与A建立连接,A接受请求后会调用B,B接受后会调用C,将整个管道(pipeline建立完成,在逐级返回到client)客户端开始向...原创 2019-11-05 09:16:28 · 111 阅读 · 0 评论 -
Hadoop基础概念
Hadoop模块组成:HDFS: 用于储存(可靠的,高吞量的分布式文件系统)MapReduce: 用于计算(分布式的离线并行计算框架)YARN: 用于资源调度(作业调度与集群资源管理框架)Common: 支持其他模块的工具模块文件系统核心模块:NameNode:集群当中的主节点,用于管理集群中的各种元数据DataNode...原创 2019-11-01 10:50:26 · 121 阅读 · 0 评论 -
大数据基础
基本项目流程: 数据生产 → 数据采集 → 数据存储 → 数据预处理 → 数据计算 → 结果数据存储 → 结果数据展现基本特征大容量(海量化)即数据巨大从TB跃升PB多样化数据类型繁多,结构化,半结构化,非结构化快速数据增长速率快,计算处理速度也快,时效性要求高真实性数据的准确性和可信赖性,既数据的质量数据价值密度低低成本创造高价值大数据应...原创 2019-10-31 11:33:33 · 175 阅读 · 0 评论