优化一:
1:用户采用ext3系统进行挂载的时候,设置notime属性来禁止记录文件访问时间戳,减少内核管理开销,这样达到hbase读优化目的:设置如图:
优化二: ext3提供磁盘空间,默认情下为每一个系统进程保留一块固定空间,保证磁盘存储满以后不影响关键系统进程的使用,这个功能对数据存储磁盘几乎没用,所以,要对存储磁盘的次功能进行优化。
注意:此优化只适用于数据存储磁盘,不适用于操作系统依赖的磁盘,更不适用于master节点上的磁盘。Yahoo!分布式文件系统采用ext3
ext3于ext4的比较:
ext4比ext3更接近高性能文件系统xfs,并且ext4允许单文件达到16TB,并且支持EB的存储空间。ext4更重要的特性就是延迟分配。但是hadoop和hbase中将其关闭。采用延迟分配策略的数据会保留在内存中。
为什么hadoop的jar文件要部署在hbase的lib目录下?
时间同步问题!!!!一定要时间同步,不然会发生奇怪的问题
文件句柄和进程限制:日志文件java.io.IOException:Too many open files
如何修改文件句柄个数:
如何避免因为文件句柄数而引发OutOfMenoryError异常:
DataNode处理线程数:出现Could not obtain block
交换区: 如何解决超租约异常
用户为了避免运行时发生内存溢出,比较好的方法是给操作系统的进程预留足够的内存,并且设置JVM对设置不要太大,一旦使用内存接近最大的物理内存,操作系统就开始使用交换区,通常是机器磁盘中独立的分区,此时会在内存中重新分配。