Hadoop
@小白1
这个人很懒,还没有简介。
展开
-
开启回收站配置
开启回收站功能,可以将删除的文件在不超时的情况下,恢复原数据,起到防止误删除、备份等作用。1.开启回收站功能参数说明(1)默认值fs.trash.interval = 0,0表示禁用回收站;其他值表示设置文件的存活时间。(2)默认值fs.trash.checkpoint.interval = 0,检查回收站的间隔时间。如果该值为0,则该值设置和fs.trash.interval的参数值相等。(3)要求fs.trash.checkpoint.interval <= fs.trash.in原创 2021-11-23 13:56:11 · 329 阅读 · 0 评论 -
NameNode心跳并发配置
1.NameNode有一个工作线程池,用来处理不同DataNode的并发心跳以及客户端并发的元数据操作。对于大集群或者有大量客户端的集群来说,通常需要增大该参数。默认值是10。2.计算公式:当然有python会帮我们计算。输入python 如下:导入python包计算,集群是3台。输入3>>> import math>>> print int(20*math.log(3))计算结果21在hdfs-site.xml配置即可...原创 2021-11-23 11:24:38 · 1911 阅读 · 1 评论 -
NameNode内存生产配置
1.Hadoop2.x系列,配置NameNode内存NameNode内存默认2000m,如果服务器内存4G,NameNode内存可以配置3g。在hadoop-env.sh文件中配置如下。HADOOP_NAMENODE_OPTS=-Xmx3072mHadoop3.x系列,配置NameNode内存 ,打开hadoop-env.sh文件,配置export HDFS_NAMENODE_OPTS="-Dhadoop.security.logger=INFO,RFAS-Xmx1024m"ex.原创 2021-11-23 10:47:34 · 1574 阅读 · 0 评论