![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 82
JamSlade
这个作者很懒,什么都没留下…
展开
-
hadoop生态圈-- 个人笔记学习05 HDFS优化
DFSClient和DN在一个节点 —— local reads,远程阅读 Remote reads。处理方式是一样的。原创 2023-07-05 13:32:57 · 1105 阅读 · 0 评论 -
hadoop生态圈-- 个人笔记学习03 文件存储格式
传统文件存储格式:就jpeg,mp3,doc等server/ host上,由块设备,如硬盘。软盘等,格式选择取决用途。在HDFS应用程序(如MapReduce or Spark)中, 性能瓶颈在于特定位置查找数据和写入消耗的时间。管理大量数据也很复杂(数据的存储,数据格式变化)需要选择合适的文件格式数据处理的不同阶段使用不同格式:发挥优势。原创 2023-07-05 09:33:33 · 290 阅读 · 0 评论 -
hadoop生态圈-- 个人笔记学习02
集群包括HDFS存储数据YARN 数据运算的时候调度mapreduce,分布式运算编程框架。编程滚翻进行程序开发,后运行于HDFS集群上。原创 2023-07-05 09:35:41 · 148 阅读 · 0 评论 -
hadoop生态圈-- 个人笔记学习01
分布式大数据处理框架包含HDFS MapReduce等框架分层。原创 2023-07-05 09:32:57 · 122 阅读 · 0 评论