![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
一路狂飚飚
前进中.....
展开
-
Hadoop003-Hadoop的I/O操作
1、数据完整性 重点词汇 1、校验和(checksum) 2、复本因子(replication factor) 3、一系列datanode组成的管线 4、fs -checksum 5、distcp 2、压缩 文件压缩优点: 1.减少存储文件所需要的磁盘空间。 2.加速数据在网络和磁盘上的传输。 执行命令: 1.创建一个名为file.gz的压缩文件: %gzip -1 file 2.将file.gz文件解压成file文件命令:%hadoop FileDecompressor.file.gz 3.Compres原创 2021-11-29 16:13:35 · 1133 阅读 · 0 评论 -
Hadoop002-hdfs架构
1.名字节点(namenode)可以看做是分布式文件系统中的管理者,它1负责管理文件系统命名空间、集群和数据块复制等。 2.数据节点(datanode)是文件存储的基本单位,它以数据块的形式保存了HDFS中文件的内容和数据块的数据校验信息。 3.客户端和名字节点、数据节点通信,访问hdfs文件系统,操作文件。 在一个hdfs中,有一个名字节点和一个第二名字节点,典型的集群有几十到 几百个数据节点,甚至几千上万节点;而客户端一般情况下,比数据节点的个数还多。名字节点和第二名字节点、数据节点和客户端的关系如下图原创 2021-11-22 16:47:31 · 898 阅读 · 0 评论 -
Hadoop001-combiner作用。
1.combiner函数可以帮助减少mapper和reducer之间的数据传输量。 2.map到reduce需要不同map上的数据跨节点传输数据。原创 2021-11-22 09:25:49 · 504 阅读 · 0 评论