属性名称 | 属性值 | 描述 |
hadoop.common.configuration. version | 0.23.0 | 配置文件的版本。 |
hadoop.tmp.dir | /tmp/hadoop-${user.name} | 其它临时目录的父目录,会被其它临时目录用到。 |
io.native.lib.available | TRUE | 是否使用本地库进行bz2和zlib的文件压缩及编解码。 |
hadoop.http.filter.initializers | org.apache.hadoop.http.lib.StaticUserWebFilter | 一个逗号分隔的类名列表,他们必须继承于org.apache.hadoop.http.FilterInitializer,相应的过滤器被初始化后,将应用于所有的JSP和Servlet网页。 列表 的排序即为过滤器的排序。 |
hadoop.security.authorization | FALSE | 是否启用service级别的授权。 |
hadoop.security.instrumentation. requires.admin | FALSE | 访问servlets (JMX, METRICS, CONF, STACKS)是否 需要管理员ACL(访问控制列表)的授权。 |
hadoop.security.authentication | simple | 有两个选项,simple和kerberos,两个的详细区别就 自己百度吧。 |
hadoop.security.group.mapping | org.apache.hadoop.security. JniBasedUnixGroupsMappingWithFallback | 用于ACL用户组映射的类,默认的实现类是 org.apache.hadoop.security.JniBasedUnixGroups MappingWithFallback,定义了JNI是否可用,如果 可用,将使用hadoop中的API来实现访问用户组解析, 如果不可用,将使用ShellBasedUnixGroupsMapping 来实现。 |
hadoop.security.dns.interface |
| 用于确定Kerberos登录主机的网络接口的名称。 |
hadoop.security.dns.nameserver |
| 用于确定Kerberos登录主机的地址。 |
hadoop.security.dns.log-slow-lookups .enabled | FALSE | 当查询名称时间超过阈值时是否进行记录。 |
hadoop.security.dns.log-slow-lookups .threshold.ms | 1000 | 接上一个属性,这个属性就是设置阈值的。 |
hadoop.security.groups.cache.secs | 300 | 配置用户组映射缓存时间的,当过期时重新获取 并缓存。 |
hadoop.security.groups.negative-cache .secs | 30 | 当无效用户频繁访问,用于设置缓存锁定时间。 建议设置为较小的值,也可以通过设置为0或负 数来禁用此属性。 |
hadoop.security.groups.cache.warn .after.ms | 5000 | 当查询用户组时间超过设置的这个阈值时,则作 为警告信息进行记录。 |
hadoop.security.groups.cache.background .reload | FALSE | 是否使用后台线程池重新加载过期的用户组映射。 |
hadoop.security.groups.cache.background .reload.threads | 3 | 接上一个属性,当上个属性为true时,通过此属 性控制后台线程的数量。 |
hadoop.security.groups.shell.command .timeout | 0s | 设置shell等待命令执行时间,如果超时,则命令 中止,如果设置为0,表示无限等待。 |
hadoop.security.group.mapping.ldap .connection.timeout.ms | 60000 | 设置LDAP的连接超时时间,如果为0或负数, 表示无限等待。 |
hadoop.security.group.mapping.ldap .read.timeout.ms | 60000 | 设置LDAP的读取超时时间,如果为0或负数, 表示无限等待。 |
hadoop.security.group.mapping.ldap.url |
| LDAP服务器的地址。 |
hadoop.security.group.mapping.ldap.ssl | FALSE | 是否使用SSL连接LDAP服务器。 |
hadoop.security.group.mapping.ldap.ssl .keystore |
| 包含SSL证书的SSL密钥文件的存储路径。 |
hadoop.security.group.mapping.ldap.ssl .keystore.password.file |
| 包括SSL密钥文件访问密码的文件路径,如果 此属性没有设置,并hadoop.security.group .mapping.ldap.ssl.keystore.password属性也 没有设置,则直接从LDAP指定文件读取密码 (注意:此文件只能由运行守护进程的unix用 户读取,并且应该是本地文件)。 |
hadoop.security.group.mapping.ldap.ssl .keystore.password |
| 保存SSL密钥文件访问密码的别名,如果此属 性为空,并且hadoop.security.credential .clear-text-fallback属性为true时,则通过后者 获取密码。 |
hadoop.security.credential.clear-text-fallback | TRUE | 是否将密码保存为明文。 |
hadoop.security.credential.provider.path |
| 包含证书类型和位置的文件地址列表。 |
hadoop.security.credstore.java-keystore-provider .password-file |
| 包含用户自定义密码的文件路径。 |
hadoop.security.group.mapping.ldap .bind.user |
| 连接到LDAP服务器时的用户别名,如果LDAP 服务器支持匿名绑定,则此属性可以为空值。 |
hadoop.security.group.mapping.ldap.bind .password.file |
| 包含绑定用户密码的文件的路径。如果在证书提 供程序中没有配置密码,并且属hadoop.security. group.mapping.ldap.bind.password没有设置, 则从文件读取密码。注意:此文件只能由运行守 护进程的UNIX用户读取,并且应该是本地文件。 |
hadoop.security.group.mapping.ldap.bind .password |
| 绑定用户的密码。此属性名用作从凭据提供程序 获取密码的别名。如果无法找到密码,hadoop .security.credential.clear-text-fallback是真的, 则使用此属性的值作为密码。 |
hadoop.security.group.mapping.ldap.base |
| LDAP连接时搜索的根目录。 |
hadoop.security.group.mapping.ldap .userbase |
| 指定用户LDAP连接时搜索的根目录。如果不设 置此属性,则使用hadoop.security.group .mapping.ldap.base属性的值。 |
hadoop.security.group.mapping.ldap .groupbase |
| 指定用户组LDAP连接时搜索的根目录。如果不 设置此属性,则使用hadoop.security.group .mapping.ldap.base属性的值。 |
hadoop.security.group.mapping.ldap.search .filter.user | (&(objectClass=user)(sAMAccountName={0})) | 搜索LDAP用户时提供的额外的筛选器。 |
hadoop.security.group.mapping.ldap.search .filter.group | (objectClass=group) | 搜索LDAP用户组时提供的额外的筛选器。 |
hadoop.security.group.mapping.ldap.search .attr.memberof |
| 用户对象的属性,用于标识其组对象。 |
hadoop.security.group.mapping.ldap.search .attr.member | member | 用户组对象的属性,用于标识其有哪些组成员。 |
hadoop.security.group.mapping.ldap.search .attr.group.name | cn | 用户组对象的属性,用于标识用户组的名称。 |
hadoop.security.group.mapping.ldap.search .group.hierarchy.levels | 0 | 当要确定用户所属的用户组时,此属性用于指 定向上查找的层级数目。如果为0,则表示只查 询当前用户所属的直接用户组,不再向上查找。 |
hadoop.security.group.mapping.ldap.posix .attr.uid.name | uidNumber | posixAccount的属性,用于成员分组 |
hadoop.security.group.mapping.ldap.posix .attr.gid.name | gidNumber | posixAccount的属性,用户标识组ID。 |
hadoop.security.group.mapping.ldap .directory.search.timeout | 10000 | LDAP SearchControl的属性,用于在搜索和等 待结果时设置最大时间限制。如果需要无限等 待时间,设置为0。默认值为10秒。单位为毫秒。 |
hadoop.security.group.mapping.providers |
| 逗号分隔的提供商名称,用于用户组映射。 |
hadoop.security.group.mapping.providers .combined | TRUE | 标识提供商提供的级是否可以被组合。 |
hadoop.security.service.user.name.key |
| 此属性用于指定RPC调用的服务主名称,适用 于相同的RPC协议由多个服务器实现的情况。 |
fs.azure.user.agent.prefix | unknown | WASB提供给Azure的前缀,默认包括WASB 版本、JAVA运行时版本、此属性的值等。 |
hadoop.security.uid.cache.secs | 14400 | 控制缓存的过期时间。 |
hadoop.rpc.protection | authentication | 一个逗号分隔的安全SASL连接的保护值列表。 |
hadoop.security.saslproperties.resolver .class |
| 用于连接时解决QOP的SaslPropertiesResolver。 |
hadoop.security.sensitive-config-keys | secret$ password$ ssl.keystore.pass$ fs.s3 .*[Ss]ecret.?[Kk]ey fs.s3a.*.server-side-encryption. key fs.azure.account.key.* credential$ oauth .*token$ hadoop.security.sensitive-config-keys | 一个逗号分隔的或多行的正则表达式列表。 |
hadoop.workaround.non.threadsafe .getpwuid | TRUE | 一些系统已知在调用getpwuid_r和getpwgid_r 有问题,这些调用是非线程安全的。这个问题 的主要表现特征是JVM崩溃。如果你的系统有 这些问题,开启这个选项。默认是关闭的。 |
hadoop.kerberos.kinit.command | kinit | 用于Kerberos证书的定时更新。 |
hadoop.kerberos.min.seconds .before.relogin | 60 | 重新尝试登录Kerberos的最小时间间隔,单位 为秒。 |
hadoop.security.auth_to_local |
| 将Kerberos主体映射到本地用户名。 |
hadoop.token.files |
| 具有Hadoop服务授权令牌的令牌缓存文件列表。 |
io.file.buffer.size | 4096 | 在序列文件中使用的缓冲区大小。这个缓冲区的 大小应该是页大小(英特尔x86上为4096)的倍 数,它决定读写操作中缓冲了多少数据。 |
io.bytes.per.checksum | 512 | 每个检验和的字节数,不能大于 io.file.buffer.size 属性的值。 |
io.skip.checksum.errors | FALSE | 如果为true,当读取序列文件时遇到校验和错误, 则跳过条目,而不是抛出异常。 |
io.compression.codecs |
| 一组可用于压缩/解压缩的表列表,使用逗号进 行分隔。 |
io.compression.codec.bzip2.library | system-native | 用于bzip2编解码的本地代码库,可以通过名称 或全路径来指定该库。 |
io.serializations | org.apache.hadoop.io.serializer .WritableSerialization,org.apache.hadoop .io.serializer.avro.AvroSpecificSerialization, org.apache.hadoop.io.serializer.avro .AvroReflectSerialization | 可用于获取序列化和反序列化的序列化类的列表。 |
io.seqfile.local.dir | ${hadoop.tmp.dir}/io/local | 存储中间数据文件的本地目录。 |
io.map.index.skip | 0 | 跳过索引的数量。 |
io.map.index.interval | 128 | MapFile由两部分组成:数据文件和索引文件。 在每个设置的时间间隔后,会根据写入的数据 文件内容,创建索引对应的索引文件内容。 |
fs.defaultFS | file:/// | 默认文件系统的名称。通常指定namenode的 URI地址,包括主机和端口。 |
fs.default.name | file:/// | 不建议使用此属性,建议用fs.defaultFS属性 代替。 |
fs.trash.interval | 0 | 检查点被删除的时间间隔,单位为分钟。此属 性可以在服务器和客户端上配置。如果服务器 上被禁用,则检查客户端配置,如果服务器上 被启用,则忽略客户端配置。 |
fs.trash.checkpoint.interval | 0 | 检查点之间的时间间隔,此属性的值应该小于 fs.trash.interval属性的值。每次检查指针运行 时,它都会创建一个新的检查点,并移除在几 分钟前创建的检查点。 |
fs.protected.directories |
| 一个逗号分隔的目录列表,即使是空的,也不 能被超级用户删除。此设置可用于防止重要系 统目录因管理员错误而意外删除。 |
fs.AbstractFileSystem.file.impl | org.apache.hadoop.fs.local.LocalFs | file的抽象文件类。 |
fs.AbstractFileSystem.har.impl | org.apache.hadoop.fs.HarFs | har的抽象文件类。 |
fs.AbstractFileSystem.hdfs.impl | org.apache.hadoop.fs.Hdfs | hdfs的抽象文件类。 |
fs.AbstractFileSystem.viewfs.impl | org.apache.hadoop.fs.viewfs.ViewFs | viewfs的抽象文件类。 |
fs.viewfs.rename.strategy | SAME_MOUNTPOINT | 允许在多个挂载点间重命名。 |
fs.AbstractFileSystem.ftp.impl | org.apache.hadoop.fs.ftp.FtpFs | ftp的抽象文件类。 |
fs.AbstractFileSystem.webhdfs.impl | org.apache.hadoop.fs.WebHdfs | webhdfs的抽象文件类。 |
fs.AbstractFileSystem.swebhdfs.impl | org.apache.hadoop.fs.SWebHdfs | swebhdfs的抽象文件类。 |
fs.ftp.host | 0.0.0.0 | ftp的连接服务器。 |
fs.ftp.host.port | 21 | ftp的连接服务器端口。 |
fs.ftp.data.connection.mode | ACTIVE_LOCAL_DATA_CONNECTION_MODE | ftp客户端的数据连接模式,有如下选项ACTIVE_LOCAL_DATA_CONNECTION_MODE,PASSIVE_LOCAL_DATA_CONNECTION_MODE 和PASSIVE_REMOTE_DATA_CONNECTION_MODE。 |
fs.ftp.transfer.mode | BLOCK_TRANSFER_MODE | ftp的数据传输模式,有如下选项 STREAM_TRANSFER_MODE,BLOCK_ TRANSFER_MODE COMPRESSED_ TRANSFER_MODE。 |
fs.df.interval | 60000 | 磁盘使用统计情况的刷新时间间隔。 |
fs.du.interval | 600000 | 文件空间使用统计情况的刷新时间间隔。 |
fs.s3.awsAccessKeyId |
| S3使用的AWS访问密钥ID。 |
fs.s3.awsSecretAccessKey |
| S3使用的AWS密钥. |
fs.s3.block.size | 67108864 | S3使用的块大小。 |
fs.s3.buffer.dir | ${hadoop.tmp.dir}/s3 | 该目录用于发送S3前的临时本地目录。 |
fs.s3.maxRetries | 4 | 在向应用程序发出故障之前,读取或写入文 件到S3的最大重试次数。 |
fs.s3.sleepTimeSeconds | 10 | 在每次S3重试之间的睡眠时间间隔。 |
fs.swift.impl | org.apache.hadoop.fs.swift.snative .SwiftNativeFileSystem | OpenStack Swift Filesystem的实现类。 |
fs.automatic.close | TRUE | 当为true时,FileSystem的实例会在程序退出 时关闭,为false时,不自动退出。 |
fs.s3n.awsAccessKeyId |
| S3本地文件系统使用的AWS访问密钥ID。 |
fs.s3n.awsSecretAccessKey |
| S3本地文件系统使用的AWS密钥. |
fs.s3n.block.size | 67108864 | S3本地文件系统使用的块大小。 |
fs.s3n.multipart.uploads.enabled | FALSE | 为true时,允许多个上传到本地S3。当上传 一个的大小超过fs.s3n.multipart.uploads .block.size属性的大小,则将其分割成块。 |
fs.s3n.multipart.uploads.block.size | 67108864 | 多上传到本地S3时的块大小,默认大小为64MB。 |
fs.s3n.multipart.copy.block.size | 5368709120 | 多拷贝时的块大小,默认大小为5GB。 |
fs.s3n.server-side-encryption-algorithm |
| 为S3指定服务器端加密算法。默认情况下未 设置,而当前唯一允许的值是AES256。 |
fs.s3a.access.key |
| S3A文件系统使用的AWS访问密钥ID。 |
fs.s3a.secret.key |
| S3A文件系统使用的AWS密钥。 |
fs.s3a.aws.credentials.provider |
| 一组com.amazonaws.auth.AWSCredentials Provider的实现类,按照顺序加载和查询。 |
fs.s3a.session.token |
| 当使用org.apache.hadoop.fs.s3a.Temporary AWSCredentialsProvider时的会话令牌。 |
fs.s3a.security.credential.provider.path |
| hadoop.security.credential.provider.path 属性的一个子集 |
fs.s3a.connection.maximum | 15 | S3A的最大连接数。 |
fs.s3a.connection.ssl.enabled | TRUE | 是否启用SSL连接到S3A。 |
fs.s3a.endpoint |
| AWS S3 连接终端。 |
fs.s3a.path.style.access | FALSE | 启用S3A path style访问,即禁用默认虚 拟的互联网行为。 |
fs.s3a.proxy.host |
| S3A连接代理的主机名。 |
fs.s3a.proxy.port |
| S3A连接代理的端口,如果未设置,默认为 80或443。 |
fs.s3a.proxy.username |
| S3A连接代理的用户名。 |
fs.s3a.proxy.password |
| S3A连接代理的密码。 |
fs.s3a.proxy.domain |
| S3A连接代理的域。 |
fs.s3a.proxy.workstation |
| S3A连接代理的工作站。 |
fs.s3a.attempts.maximum | 20 | 当出现错误时的最大重试次数。 |
fs.s3a.connection.establish.timeout | 5000 | Socket连接建立超时时间,单位为毫秒。 |
fs.s3a.connection.timeout | 200000 | Socket连接保持时间,单位为毫秒。 |
fs.s3a.socket.send.buffer | 8192 | Socket 发送缓冲大小,单位为字节。 |
fs.s3a.socket.recv.buffer | 8192 | Socket 接收缓冲大小,单位为字节。 |
fs.s3a.paging.maximum | 5000 | 在读取目录列表时,从S3A同时请求的密 钥最大数量。 |
fs.s3a.threads.max | 10 | 文件请求的最大并发线程数。 |
fs.s3a.threads.keepalivetime | 60 | 线程空间多长时间后,即终止。单位为秒。 |
fs.s3a.max.total.tasks | 5 | 可以并发执行的操作数。 |
fs.s3a.multipart.size | 100M | upload或copy操作,当文件超过多大时, 即拆分。单位可以为K/M/G/T/P。 |
fs.s3a.multipart.threshold | 2147483647 | upload或copy或rename操作,当文件超过 多大时,即拆分。单位可以为K/M/G/T/P, 不写表示字节。 |
fs.s3a.multiobjectdelete.enable | TRUE | 当启用时,多个单对象的删除,被单个多 对象的删除替代,以减少请求数。 |
fs.s3a.acl.default |
| 选项有Private、PublicRead,、PublicReadWrite、 AuthenticatedRead、LogDeliveryWrite、 BucketOwnerRead、 or BucketOwnerFullControl。 |
fs.s3a.multipart.purge | FALSE | 当为true时,清除多文件上传失败时的文件。 |
fs.s3a.multipart.purge.age | 86400 | 清理多文件上传的最小秒数。 |
fs.s3a.server-side-encryption-algorithm |
| 为S3A指定服务器端加密算法,可以为 'AES256' (for SSE-S3)、 'SSE-KMS' 或 'SSE-C'. |
fs.s3a.server-side-encryption.key |
| 如果 fs.s3a.server-side-encryption-algorithm 属性值为'SSE-KMS' or 'SSE-C',则使用特定 的加密密钥。在SSE-C的情况下,这个属性的 值应该是Base64编码的密钥,在SSE-KMS的 情况下,如果该属性为空,则使用默认的S3KMS 密钥,否则应将该属性设置为特定的KMS密钥ID。 |
fs.s3a.signing-algorithm |
| 重写默认签名算法。 |
fs.s3a.block.size | 32M | S3A的块大小。 |
fs.s3a.buffer.dir | ${hadoop.tmp.dir}/s3a | 用于缓冲上传文件的目录。 |
fs.s3a.fast.upload | FALSE | 是否启用基于增量块的快速上传机制。 |
fs.s3a.fast.upload.buffer | disk | 选项可以为disk/array/bytebuffer。 |
fs.s3a.fast.upload.active.blocks | 4 | 单个输出流可以激活的最大块数。 |
fs.s3a.readahead.range | 64K | 在关闭和重新打开S3 HTTP连接之前在seek() 提前读取的字节。 |
fs.s3a.user.agent.prefix |
| 设置一个自定义值,作为发送到S3的HTTP请 求的头部。 |
fs.s3a.metadatastore.authoritative | FALSE | 当为true时,允许元数据作为真实的数据源。 |
fs.s3a.metadatastore.impl | org.apache.hadoop.fs.s3a.s3guard .NullMetadataStore | 实现S3A的元数据存储类的完全限定名。 |
fs.s3a.s3guard.cli.prune.age | 86400000 | 删除命令执行后,元数据在设定时间后被删除, 单位为毫秒。 |
fs.s3a.impl | org.apache.hadoop.fs.s3a.S3AFileSystem | S3A文件系统的实现类 。 |
fs.s3a.s3guard.ddb.region |
| AWS DynamoDB连接域。 |
fs.s3a.s3guard.ddb.table |
| DynamoDB操作表名,如果此属性没有被设置, 则使用S3的桶名。 |
fs.s3a.s3guard.ddb.table.create | FALSE | 当为true时,S3A客户端将允许创建不存在的表。 |
fs.s3a.s3guard.ddb.table.capacity.read | 500 | 读操作的吞吐量设置。 |
fs.s3a.s3guard.ddb.table.capacity.write | 100 | 写操作的吞吐量设置。 |
fs.s3a.s3guard.ddb.max.retries | 9 | 批量DynamoDB操作报错或取消前的最大重 试次数。 |
fs.s3a.s3guard.ddb.background.sleep | 25 | 批量删除时,每个删除间的时间间隔,单位 为毫秒。 |
fs.AbstractFileSystem.s3a.impl | org.apache.hadoop.fs.s3a.S3A | S3A抽象文件系统的实现类。 |
fs.wasb.impl | org.apache.hadoop.fs.azure .NativeAzureFileSystem | 原生Azure文件系统的实现类。 |
fs.wasbs.impl | org.apache.hadoop.fs.azure .NativeAzureFileSystem$Secure | 安全原生Azure文件系统的实现类。 |
fs.azure.secure.mode | FALSE | 当为true时,允许 fs.azure.NativeAzureFile System使用SAS密钥与Azure存储进行通信。 |
fs.azure.local.sas.key.mode | FALSE | 当为true时,fs.azure.NativeAzureFileSystem 使用本地SAS密钥生成,当为false,此属性无意义。 |
fs.azure.sas.expiry.period | 90d | 生成的SAS密钥过期时间,单位可以是ms(millis), s(sec), m(min), h(hour), d(day) 。 |
fs.azure.authorization | FALSE | 当为true时,启用WASB的授权支持。 |
fs.azure.authorization.caching.enable | TRUE | 当为true时,开户授权结果的缓存。 |
fs.azure.saskey .usecontainersaskeyforallaccess | TRUE | 当为true时,使用容器内的SAS密钥访问blob, 专用密钥无效。 |
fs.adl.impl | org.apache.hadoop.fs.adl.AdlFileSystem |
|
fs.AbstractFileSystem.adl.impl | org.apache.hadoop.fs.adl.Adl |
|
io.seqfile.compress.blocksize | 1000000 | 块压缩序列文件中压缩的最小块大小。 |
io.mapfile.bloom.size | 1048576 | BloomMapFile中的bloom过滤器大小。 |
io.mapfile.bloom.error.rate | 0.005 | BloomMapFile中的bloom过滤器的假负率, 默认是0.5%。 |
hadoop.util.hash.type | murmur | Hash的默认实现,有两个选项murmur和jenkins。 |
ipc.client.idlethreshold | 4000 | 定义连接的阈值数量,之后将检查连接是否空闲。 |
ipc.client.kill.max | 10 | 定义一次断开的客户端的最大数量。 |
ipc.client.connection.maxidletime | 10000 | 空间连接断开时间,单位为毫秒。 |
ipc.client.connect.max.retries | 10 | 客户端重新建立服务器连接的重试次数。 |
ipc.client.connect.retry.interval | 1000 | 两次重新建立连接之间的时间间隔,单位为毫秒。 |
ipc.client.connect.timeout | 20000 | 客户端通过socket连接到服务器的超时时间。 |
ipc.client.connect.max.retries.on.timeouts | 45 | 客户端通过socket重新连接到服务器的重试次数。 |
ipc.client.tcpnodelay | TRUE | 当为true时,使用TCP_NODELAY标志绕过 Nagle的算法传输延迟。 |
ipc.client.low-latency | FALSE | 当为true时,使用低延迟在QoS标记。 |
ipc.client.ping | TRUE | 当为true时,如果读取响应超时,则向服务器 发送ping命令。 |
ipc.ping.interval | 60000 | 等待服务器响应的超时时间,单位为毫秒。当ipc.client.ping属性为true时,客户端将在不接 收字节的情况下发送Ping命令。 |
ipc.client.rpc-timeout.ms | 0 | 等待服务器响应的超时时间,单位为毫秒。当ipc.client.ping属性为true,并且这个属性的时 间比 ipc.ping.interval属性的值大时,这个属性 的时间将被修改为 ipc.ping.interval的最大倍数。 |
ipc.server.listen.queue.size | 128 | 接受客户端连接的服务器的侦听队列的长度。 |
ipc.server.log.slow.rpc | FALSE | 此设置有助于排除各种服务的性能问题。如果这 个值设置为true,将被记录请求。 |
ipc.maximum.data.length | 67108864 | 服务器可以接受的最大IPC消息长度(字节)。 |
ipc.maximum.response.length | 134217728 | 服务器可以接受的最大IPC消息长度(字节)。 设置为0禁用。 |
hadoop.security.impersonation.provider .class |
| ImpersonationProvider接口的实现类,用于授 权一个用户是否可以模拟特定用户。如果未指 定,则使用DefaultImpersonationProvider实现。 |
hadoop.rpc.socket.factory.class.default | org.apache.hadoop.net.StandardSocketFactory | 默认使用SocketFactory,参数格式为package.FactoryClassName。 |
hadoop.rpc.socket.factory.class .ClientProtocol |
| 连接到DFS的SocketFactory,如果为空,则使用 hadoop.rpc.socket.class.default属性的值。 |
hadoop.socks.server |
| SocksSocketFactory使用的SOCKS服务器的地址 (主机:端口)。 |
net.topology.node.switch.mapping.impl | org.apache.hadoop.net.ScriptBasedMapping | DNSToSwitchMapping的默认实现,其调用net.topology.script.file.name属性的值来解析节点名称。 |
net.topology.impl | org.apache.hadoop.net.NetworkTopology | NetworkTopology的默认实现,它是典型的三层 拓扑结构。 |
net.topology.script.file.name |
| 该脚本被用于解析DNS的名称,例如,脚本将接收host.foo.bar,然后返回 /rack1。 |
net.topology.script.number.args | 100 | net.topology.script.file.name属性中参数的最大数量。 |
net.topology.table.file.name |
| 当net.topology.node.switch.mapping.impl属性的 值为 org.apache.hadoop.net.TableMapping时适 用,表示一个拓扑文件。该文件格式是两列文本, 列由空白分隔。第一列是DNS或IP地址,第二列 指定地址映射的机架。如果没有找到对应于集群 中的主机的条目,则假设默认机架。 |
file.stream-buffer-size | 4096 | 流文件的缓冲区大小,这个大小应该是页大小的 位数(X86为4096)。 |
file.bytes-per-checksum | 512 | 每个校验和的字节数。 |
file.client-write-packet-size | 65536 | 客户机写入的数据包大小。 |
file.blocksize | 67108864 | 块大小。 |
file.replication | 1 | 复制因子。 |
s3.stream-buffer-size | 4096 | 流文件的缓冲区大小,这个大小应该是页大小 的位数(X86为4096)。 |
s3.bytes-per-checksum | 512 | 每个校验和的字节数,该数值不能大于 s3.stream-buffer-size属性的值。 |
s3.client-write-packet-size | 65536 | 客户机写入的数据包大小。 |
s3.blocksize | 67108864 | 块大小。 |
s3.replication | 3 | 复制因子。 |
s3native.stream-buffer-size | 4096 | 流文件的缓冲区大小,这个大小应该是页大 小的位数(X86为4096)。 |
s3native.bytes-per-checksum | 512 | 每个校验和的字节数,该数值不能大于 s3native.stream-buffer-size属性的值。 |
s3native.client-write-packet-size | 65536 | 客户机写入的数据包大小。 |
s3native.blocksize | 67108864 | 块大小。 |
s3native.replication | 3 | 复制因子。 |
ftp.stream-buffer-size | 4096 | 流文件的缓冲区大小,这个大小应该是页大 小的位数(X86为4096)。 |
ftp.bytes-per-checksum | 512 | 每个校验和的字节数,该数值不能大于 ftp.stream-buffer-size属性的值。 |
ftp.client-write-packet-size | 65536 | 客户机写入的数据包大小。 |
ftp.blocksize | 67108864 | 块大小。 |
ftp.replication | 3 | 复制因子。 |
tfile.io.chunk.size | 1048576 | chunk大小,单位为字节,默认为1MB。 |
tfile.fs.output.buffer.size | 262144 | FSDataOutputStream中使用的缓冲区大小。 |
tfile.fs.input.buffer.size | 262144 | FSDataInputStream使用的缓冲区大小。 |
hadoop.http.authentication.type | simple | 定义了Oozie HTTP终端的认证方式,支持 simple和kerberos。 |
hadoop.http.authentication.token.validity | 36000 | 验证令牌的有效时长,单位为秒。 |
hadoop.http.authentication.signature .secret.file | ${user.home}/hadoop-http-auth-signature-secret | 签署认证令牌的签名秘密。同样的秘密应该用于JT/NN/DN/TT配置。 |
hadoop.http.authentication.cookie.domain |
| 用于存储身份验证令牌的HTTP Cookie域。 为了授权在所有Hadoop节点Web控制台上正 确工作,必须正确设置域。重要事项:当使用 IP地址时,浏览器忽略具有域设置的Cookie。 为了使该设置正常工作,集群中的所有节点必 须配置为具有主机名的URL。 |
hadoop.http.authentication.simple .anonymous.allowed | TRUE | 当使用'simple'认证时,是否允许匿名请求。 |
hadoop.http.authentication.kerberos.principal | HTTP/_HOST@LOCALHOST | HTTP终端中使用的Kerberos principal,该 principal必须以 'HTTP/'开头。 |
hadoop.http.authentication.kerberos.keytab | ${user.home}/hadoop.keytab | keytab文件的位置。 |
hadoop.http.cross-origin.enabled | FALSE | 是否启用cross-origin (CORS)过滤器。 |
hadoop.http.cross-origin.allowed-origins | * | 需要cross-origin (CORS)支持的web服务的 来源列表,用逗号分隔。 |
hadoop.http.cross-origin.allowed-methods | GET,POST,HEAD | 需要cross-origin (CORS)支持的方法列表, 用逗号分隔。 |
hadoop.http.cross-origin.allowed-headers | X-Requested-With,Content-Type,Accept,Origin | 需要cross-origin (CORS)支持的web服务的的 头部,用逗号分隔。 |
hadoop.http.cross-origin.max-age | 1800 | 需要cross-origin (CORS)支持的web服务缓存 支持秒数。 |
dfs.ha.fencing.methods |
| fencing方法列表。 |
dfs.ha.fencing.ssh.connect-timeout | 30000 | SSH连接超时时长,单位为毫秒。 |
dfs.ha.fencing.ssh.private-key-files |
| SSH私钥文件。 |
hadoop.http.staticuser.user | dr.who | 呈现内容时在静态Web筛选器上进行过滤的用 户名,比如在HDFS web UI中的过滤。 |
ha.zookeeper.quorum |
| ZooKeeper服务器地址列表,用逗号分隔,可 以被ZKFailoverController用于自动故障转移。 |
ha.zookeeper.session-timeout.ms | 5000 | ZKFC连接到ZooKeeper的超时时长,将该值设 置为较低的值意味着服务器崩溃将被更快地检测 到,但在瞬态错误或网络错误的情况下,就会使 故障转移过于激进。 |
ha.zookeeper.parent-znode | /hadoop-ha | ZKFC下的存储信息的znode。 |
ha.zookeeper.acl | world:anyone:rwcda | znode使用的ZooKeeper ACL列表,用逗号分隔。 格式同ZooKeeper CLI。如果ACL本身包含秘密, 那么您可以指定一个文件的路径,用“@”符号前缀 ,并且该配置的值将从内部加载。 |
ha.zookeeper.auth |
| 连接到ZooKeeper时,将该列表加入到认证列表, 此列表用逗号分隔。 |
hadoop.ssl.keystores.factory.class | org.apache.hadoop.security.ssl .FileBasedKeyStoresFactory | 用于检索证书的密钥存储工厂。 |
hadoop.ssl.require.client.cert | FALSE | 是否需要客户端证书。 |
hadoop.ssl.hostname.verifier | DEFAULT | 提供HttpsURL连接主机名验证器。有以下选项:DEFAULT, STRICT, STRICT_IE6, DEFAULT_AND_LOCALHOST 和 ALLOW_ALL。 |
hadoop.ssl.server.conf | ssl-server.xml | 提取SSL服务器密钥存储信息的资源文件,这个 文件通过在classpath中查询。默认为hadoop下 的conf/ 目录。 |
hadoop.ssl.client.conf | ssl-client.xml | 提取SSL客户端密钥存储信息的资源文件,这个 文件通过在classpath中查询。默认为hadoop下的 conf/ 目录。 |
hadoop.ssl.enabled | FALSE | 不建议使用,建议用dfs.http.policy and yarn.http.policy代替。 |
hadoop.ssl.enabled.protocols | TLSv1,SSLv2Hello,TLSv1.1,TLSv1.2 | 支持的SSL协议列表。The supported SSL protocols. |
hadoop.jetty.logs.serve.aliases | TRUE | 对于jetty的服务是否启用别名。 |
fs.permissions.umask-mode | 22 | 创建文件或目录时的umask。例如"022" (符号表 示就是 u=rwx,g=r-x,o=r-x ),或者 "u=rwx,g=rwx, o=" (用八进制表示就是007)。 |
ha.health-monitor.connect-retry-interval.ms | 1000 | 重试连接到服务的频率。 |
ha.health-monitor.check-interval.ms | 1000 | 多久检查一次服务 |
ha.health-monitor.sleep-after-disconnect.ms | 1000 | 在异常RPC错误之后,休眠多长时间。 |
ha.health-monitor.rpc-timeout.ms | 45000 | 实际 monitorHealth() 调用超时时间。 |
ha.failover-controller.new-active.rpc-timeout.ms | 60000 | FC等待新任务的超时时间,在设置时间内有 新任务,即重新进入激活状态。 |
ha.failover-controller.graceful-fence.rpc-timeout.ms | 5000 | FC等待旧任务的超时时间,然后进入待机。 |
ha.failover-controller.graceful-fence.connection.retries | 1 | graceful fencing中FC连接的重试次数。 |
ha.failover-controller.cli-check.rpc-timeout.ms | 20000 | CLI (manual) FC等待monitorHealth, getServiceState的超时时间。 |
ipc.client.fallback-to-simple-auth-allowed | FALSE | 当客户端被配置为尝试安全连接,但尝试连接到 不安全的服务器时,该服务器可以指示客户端切 换到SASL SIMPLE(非安全)认证。此设置控制 客户端是否将接受来自服务器的此指令。当FALSE(默认)时,客户端将不允许退回到简单 的身份验证,并将中止连接。 |
fs.client.resolve.remote.symlinks | TRUE | 在访问远程Hadoop文件系统时,是否解析符号连接。当为false时,如果遇到符号连接,则触发异常。此设置对于本地文件系统不适用,对于本地文件系统,会自动解析符号连接。 |
nfs.exports.allowed.hosts | * rw | 默认情况下,所有客户端都可以导出。该属性的 值包含机构号和访问权限,由空格分隔。机器名 称的格式可以是一个单一的主机,一个java正则 表达式,或一个IPv4地址。访问特权使用RW或 RO来指定机器的读/写权限。如果未提供访问特 权,则默认为只读。条目由“;”分隔。例如:“192.1680.0/22RW;主机。*.Stase\.com;Hoo1.Test.Org Ro;”。只有更新了NFS网关之 后,才能重新启动该属性。 |
hadoop.user.group.static.mapping.overrides | dr.who=; | 用户到组的静态映射。如果指定的用户在系统中 可用,则这将覆盖组。换句话说,这些用户不会 出现组查找,而是使用在这个配置中映射的组。 映射应采用这种格式。USER1=GROMP1,GROP2;USER2=;USER3= GROP2;默认“DR.WH=”将考虑“D.WHO”作为没有组的用户。 |
rpc.metrics.quantile.enable | FALSE | 当为true,并且rpc.metrics.percentiles.intervals 属性为一组逗号分隔的度量时,将在百分位50/75/90/95/99时,加入rpc metrics。 |
rpc.metrics.percentiles.intervals |
| 接上一属性,和rpc.metrics.quantile.enable配合 使用。 |
hadoop.security.crypto.codec.classes .EXAMPLECIPHERSUITE |
| 对于给定的加密编解码器的前缀,包含一个逗号 分隔的给定密码编解码器(例如EXAMPLECIPHERSUITE)的实现类。如果可用 的话,第一个实现将被使用,其他的则是回退。 |
hadoop.security.crypto.codec.classes .aes.ctr.nopadding | org.apache.hadoop.crypto .OpensslAesCtrCryptoCodec, org.apache.hadoop.crypto .JceAesCtrCryptoCodec | AES/CTR/NopAudio的加密编解码器实现类, 用逗号分隔。如果可用的话,第一个实现将被 使用,其他的则是回退。 |
hadoop.security.crypto.cipher.suite | AES/CTR/NoPadding | 用于加密编解码器的密码套件。 |
hadoop.security.crypto.jce.provider |
| CryptoCodec中使用的JCE提供程序名称。 |
hadoop.security.crypto.buffer.size | 8192 | CryptoInputStream和CryptoOutputStream使用 的缓冲区大小。 |
hadoop.security.java.secure.random .algorithm | SHA1PRNG | java安全随机算法。 |
hadoop.security.secure.random.impl |
| 安全随机的实现。 |
hadoop.security.random.device.file.path | /dev/urandom | OS安全随机设备文件路径。 |
hadoop.security.key.provider.path |
| 在管理区域密钥时使用的密钥提供程序。对于 HDFS客户端,提供程序路径将与NAMENODE 的提供程序路径相同。 |
fs.har.impl.disable.cache | TRUE | 当为true时,不缓存“HAR”文件系统实例。 |
hadoop.security.kms.client.authentication .retry-count | 1 | 在认证失败时重试连接到KMS的次数。 |
hadoop.security.kms.client.encrypted.key .cache.size | 500 | EncryptedKeyVersion缓存队列的大小。 |
hadoop.security.kms.client.encrypted.key .cache.low-watermark | 0.3f | 如果EncryptedKeyVersion缓存队列大小低于watermark,队列将被重新调度填充。 |
hadoop.security.kms.client.encrypted.key .cache.num.refill.threads | 2 | 重新填充EncryptedKeyVersion缓存队列的线程数。 |
hadoop.security.kms.client.encrypted.key .cache.expiry | 43200000 | 密钥过期时间,默认为12小时。 |
hadoop.security.kms.client.timeout | 60 | KMS连接超时时间。 |
hadoop.security.kms.client.failover.sleep .base.millis | 100 | 在故障转移尝试之间以指数形式增加时长,这是迄 今为止尝试的数目的函数,具有+/- 50%的随机因 子。此选项指定在故障转移计算中使用的基值。 第一次故障转移将立即重试。第二次故障转移尝 试将延迟至少hadoop.security.client.failover. sleep.base.millis属性的值之后……单位为毫秒 |
hadoop.security.kms.client.failover.sleep .max.millis | 2000 | 在故障转移尝试之间以指数形式增加时长,这是 迄今为止尝试的数目的函数,具有+/- 50%的随机 因子。此选项指定在故障转移之间等待的最大值。 具体来说,两个故障转移尝试之间的时间将不超过 hadoop.security.client.failover.sleep.max.millis属 性的值,单位为毫秒。 |
ipc.server.max.connections | 0 | 服务器接受的最大并发连接数。 |
hadoop.registry.rm.enabled | FALSE | 是否在YARN Resource Manager中启用注册表。 |
hadoop.registry.zk.root | /registry | 注册表的根zookeeper节点。 |
hadoop.registry.zk.session.timeout.ms | 60000 | Zookeeper会话超时时间,单位为毫秒。 |
hadoop.registry.zk.connection.timeout .ms | 15000 | Zookeeper连接超时时间,单位为毫秒。 |
hadoop.registry.zk.retry.times | 5 | Zookeeper连接重试最大次数。 |
hadoop.registry.zk.retry.interval.ms | 1000 | Zookeeper连接重试间隔。 |
hadoop.registry.zk.retry.ceiling.ms | 60000 | Zookeeper重试的时长限制,单位为毫秒。 |
hadoop.registry.zk.quorum | localhost:2181 | 绑定注册表的zookeeper的主机名列表。 |
hadoop.registry.secure | FALSE | 注册表是否是安全的。 |
hadoop.registry.system.acls | sasl:yarn@, sasl:mapred@, sasl:hdfs@ | 可以安全访问注册表的 zookeeper ACL列表。 |
hadoop.registry.kerberos.realm |
| Kerberos域。 |
hadoop.registry.jaas.context | Client | 定义 JAAS上下文的密钥,用于安全模式中。 |
hadoop.shell.missing.defaultFs.warning | FALSE | 如果fs.defaultFS属性未设置,则在hdfs中启用 shell命令打印警告信息。 |
hadoop.shell.safely.delete.limit.num.files | 100 | 使用hadoop fs -rm的-safe选项,以避免意外删除 大目录。 当启用时,如果要删除的文件数量大于 该限制,则-RM命令需要确认。默认的限制是100 个文件。如果限制为0或在-RM命令中未指定安全 性,则禁用警告。 |
fs.client.htrace.sampler.classes |
| hadoop文件系统客户端使用的HTrace Samplers类名。 |
hadoop.htrace.span.receiver.classes |
| hadoop中使用的Span Receivers类名。 |
hadoop.http.logs.enabled | TRUE | 当为true时,启用hadoop守护进程上的/logs终端。 |
fs.client.resolve.topology.enabled | FALSE | 是否使用net.topology.node.switch.mapping.impl 属性的值来计算客户端到远程机器之间的网络距离。 |
fs.adl.impl | org.apache.hadoop.fs.adl.AdlFileSystem |
|
fs.AbstractFileSystem.adl.impl | org.apache.hadoop.fs.adl.Adl |
|
adl.feature.ownerandgroup.enableupn | FALSE | 为了获得最佳性能,建议使用FALSE。 |
fs.adl.oauth2.access.token.provider.type | ClientCredential | 定义了Azure Active Directory OAuth2访问令牌 提供程序类型。 |
fs.adl.oauth2.client.id |
| OAuth2客户端ID。 |
fs.adl.oauth2.credential |
| OAuth2访问密钥。 |
fs.adl.oauth2.refresh.url |
| OAuth2令牌终端。 |
fs.adl.oauth2.refresh.token |
| OAuth2刷新令牌。 |
fs.adl.oauth2.access.token.provider |
| OAuth2访问令牌提供程序的类名。 |
fs.adl.oauth2.msi.port |
| MSI令牌服务的本地端口,端口是在创建Azure VM时被指定的。如果未被指定,则用默认的50342。 |
fs.adl.oauth2.devicecode.clientapp.id |
| ADD本地app的ID。 |
hadoop.caller.context.enabled | FALSE | 当为true时,附加的内容会被写入到namenode 的log。 |
hadoop.caller.context.max.size | 128 | 调用内容的最大字节数。 |
hadoop.caller.context.signature.max.size | 40 | 服务器中允许签名的最大字节。 |
seq.io.sort.mb | 100 | 当使用SequenceFile.Sorter时,可以用于排序的 缓冲区总大小。单位为兆字节。默认情况下,每 个合并流为1MB。 |
seq.io.sort.factor | 100 | 当使用SequenceFile.Sorter时,允许同时合并的流数量。 |
hadoop.zk.address |
| ZooKeeper服务器地址。 |
hadoop.zk.num-retries | 1000 | 尝试连接到ZooKeeper的数量。 |
hadoop.zk.retry-interval-ms | 1000 | 连接到ZooKeeper的重试时间间隔,单位为毫秒。 |
hadoop.zk.timeout-ms | 10000 | ZooKeeper会话超时时间,单位为毫秒。 |
hadoop.zk.acl | world:anyone:rwcda | 用于ZooKeeper znode的ACL。 |
hadoop.zk.auth |
| 为hadoop.zk.acl属性中的ACL指定认证方式。 |