- 博客(5)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 HDFS性能优化
分布式文件系统是在多个节点上做的数据文件的部署，所以，当多个节点之间要做数据的传输通信时，就要有一个文件目录的管理者和网络带宽的使用。当namenode的可使用的内存空间和网络带宽可使用率非常大时，实现节点之间的数据快速传输通信是非常可观的。这里，就对如何提高hdfs性能做如下优化介绍。 1. Hdfs存档/归档，减少namenode内存空间的使用 存档是用来备份的时候标识用的，说...
2017-09-10 15:34:33
6250
原创 HDFS启动过程了解
Namenode目录:元数据(name,permission,block,replication)，没有dn的位置当系统启动并加载fsimage完成之后(这个时候元数据都加载到内存中)，dn向namenode报告自己的块列表，这个时候形成数据块->datanode列表的映射，数据块到datanode列表的映射关系在namenode内存中维护。在实际的应用中，数据块到datanode的对应关系经
2017-09-10 15:26:06
357
原创 HDFS文件创建和存储
在对上篇hdfs网络拓扑与机架感知 有了了解之后，现在对HDFS文件创建和存储过程做一个基础的介绍。HDFS在文件创建和存储的过程中，需要考虑带宽和可靠性。如果在hdfs集群中选出datanode列表作为文件的存储节点呢？上篇已经介绍说了通过机架感知策略实现的。所以，在接下来的文件创建和存储过程中，已经拿到了文件存储的datanode列
2017-09-10 15:23:37
5143
原创 hdfs网络拓扑与机架感知
在了解hdfs创建文件之前，需要对hdfs网络拓扑有一个浅显的认知，继而对机架感知做一个简单的介绍。在海量数据处理中，其主要限制因素是节点之间数据的传输速率-带宽稀缺。这里的想法是将两个节点间的距离作为带宽的衡量标准。Hadoop采用一个简单的方法：把网络看作一棵树，两个节点间的距离是它们到最近共同祖先的距离总和。该树中的层次是没有预先设定的，但是相对于数据中心、机架、正在运行的节点，通常
2017-09-10 15:17:12
1456
原创 2.7.2hadoop分布式安装
本篇博客对hadoop分布式安装做一下说明：安装包JDK安装hadoop安装ssh安全登录关闭防火墙注意事项安装包jdk-8u181-linux-x64.tar.gzhadoop-2.7.7.tar.gzJDK安装1) 解压：Tar –xzvf jdk-8u181-linux-x64.tar.gzjdk包重命名为jdk83) ...
2017-09-05 11:17:11
281
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人