- 博客(3)
- 资源 (26)
- 收藏
- 关注
转载 HDFS小文件问题及解决方案
1、 概述 小文件是指文件size小于HDFS上block大小的文件。这样的文件会给hadoop的扩展性和性能带来严重问题。首先,在HDFS中,任何block,文件或者目录在内存中均以对象的形式存储,每个对象约占150byte,如果有1000 0000个小文件,每个文件占用一个block,则namenode大约需要2G空间。如果存储1亿个文件,则namenode需要20G空间(见参考资料...
2018-12-24 18:49:24 9563 4
转载 理解Linux系统中的load average(图文版)
一、什么是load average?linux系统中的Load对当前CPU工作量的度量 (WikiPedia: the system load is a measure of the amount of work that a computer system is doing)。也有简单的说是进程队列的长度。Load Average 就是一段时间 (1 分钟、5分钟、15分钟) 内平均 L...
2018-12-21 16:52:31 688
转载 Hive学习之路 (四)Hive的连接3种连接方式
目录一、CLI连接 二、HiveServer2/beeline 1、修改 hadoop 集群的 hdfs-site.xml 配置文件 2、修改 hadoop 集群的 core-site.xml 配置文件 三、Web UI 正文回到顶部一、CLI连接进入到 bin 目录下,直接输入命令: [hadoop@hadoop3 ~]$ hiveSLF4J: Cl...
2018-12-04 14:41:54 1227
深入理解Java虚拟机:JVM高级特性与最佳实践].周志明.高清扫描版.pdf
2017-01-09
高性能的socket通讯服务器(完成端口模型--IOCP)
2014-06-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人