hadoop配置文件详解系列（一）-core-site.xml篇

最新推荐文章于 2024-06-28 09:37:28 发布
最新推荐文章于 2024-06-28 09:37:28 发布
阅读量1.6k 收藏 2
点赞数
文章标签： 大数据 ldap shell
原文链接：http://www.cnblogs.com/jpcflyer/p/8934601.html
版权
导读 ：关于hadoop的配置文件，目前其它网站资料中都是只写了几个常用的属性配置，但平时可能也会用到其它属性，这里就一起写出来，供大家参考。本篇先从core-site.xml开始，后续将继续进行其它配置文件的梳理。
属性名称
属性值
描述
hadoop.common.configuration.version0.23.0配置文件的版本。
hadoop.tmp.dir/tmp/hadoop-${user.name}其它临时目录的父目录，会被其它临时目录用到。
io.native.lib.availableTRUE是否使用本地库进行bz2和zlib的文件压缩及编解码。
hadoop.http.filter.initializersorg.apache.hadoop.http.lib.StaticUserWebFilter一个逗号分隔的类名列表，他们必须继承于org.apache.hadoop.http.FilterInitializer，相应的过滤器被初始化后，将应用于所有的JSP和Servlet网页。列表的排序即为过滤器的排序。 
hadoop.security.authorizationFALSE是否启用service级别的授权。
hadoop.security.instrumentation.requires.adminFALSE访问servlets (JMX, METRICS, CONF, STACKS)是否需要管理员ACL(访问控制列表)的授权。
hadoop.security.authenticationsimple有两个选项，simple和kerberos，两个的详细区别就自己百度吧。
hadoop.security.group.mappingorg.apache.hadoop.security.JniBasedUnixGroupsMappingWithFallback用于ACL用户组映射的类，默认的实现类是 org.apache.hadoop.security.JniBasedUnixGroupsMappingWithFallback，定义了JNI是否可用，如果可用，将使用hadoop中的API来实现访问用户组解析，如果不可用，将使用ShellBasedUnixGroupsMapping来实现。
hadoop.security.dns.interface　用于确定Kerberos登录主机的网络接口的名称。
hadoop.security.dns.nameserver　用于确定Kerberos登录主机的地址。
hadoop.security.dns.log-slow-lookups.enabledFALSE当查询名称时间超过阈值时是否进行记录。
hadoop.security.dns.log-slow-lookups.threshold.ms1000接上一个属性，这个属性就是设置阈值的。
hadoop.security.groups.cache.secs300配置用户组映射缓存时间的，当过期时重新获取并缓存。
hadoop.security.groups.negative-cache.secs30当无效用户频繁访问，用于设置缓存锁定时间。建议设置为较小的值，也可以通过设置为0或负数来禁用此属性。
hadoop.security.groups.cache.warn.after.ms5000当查询用户组时间超过设置的这个阈值时，则作为警告信息进行记录。
hadoop.security.groups.cache.background.reloadFALSE是否使用后台线程池重新加载过期的用户组映射。
hadoop.security.groups.cache.background.reload.threads3接上一个属性，当上个属性为true时，通过此属性控制后台线程的数量。
hadoop.security.groups.shell.command.timeout0s设置shell等待命令执行时间，如果超时，则命令中止，如果设置为0，表示无限等待。
hadoop.security.group.mapping.ldap.connection.timeout.ms60000设置LDAP的连接超时时间，如果为0或负数，表示无限等待。
hadoop.security.group.mapping.ldap.read.timeout.ms60000设置LDAP的读取超时时间，如果为0或负数，表示无限等待。
hadoop.security.group.mapping.ldap.url　LDAP服务器的地址。
hadoop.security.group.mapping.ldap.sslFALSE是否使用SSL连接LDAP服务器。
hadoop.security.group.mapping.ldap.ssl.keystore　包含SSL证书的SSL密钥文件的存储路径。
hadoop.security.group.mapping.ldap.ssl.keystore.password.file　包括SSL密钥文件访问密码的文件路径，如果此属性没有设置，并且hadoop.security.group.mapping.ldap.ssl.keystore.password属性也没有设置，则直接从LDAP指定文件读取密码（注意：此文件只能由运行守护进程的unix用户读取，并且应该是本地文件）。
hadoop.security.group.mapping.ldap.ssl.keystore.password　保存SSL密钥文件访问密码的别名，如果此属性为空，并且hadoop.security.credential.clear-text-fallback属性为true时，则通过后者获取密码。
hadoop.security.credential.clear-text-fallbackTRUE是否将密码保存为明文。
hadoop.security.credential.provider.path　包含证书类型和位置的文件地址列表。
hadoop.security.credstore.java-keystore-provider.password-file　包含用户自定义密码的文件路径。
hadoop.security.group.mapping.ldap.bind.user　连接到LDAP服务器时的用户别名，如果LDAP服务器支持匿名绑定，则此属性可以为空值。
hadoop.security.group.mapping.ldap.bind.password.file　包含绑定用户密码的文件的路径。如果在证书提供程序中没有配置密码，并且属性hadoop.security.group.mapping.ldap.bind.password没有设置，则从文件读取密码。注意：此文件只能由运行守护进程的UNIX用户读取，并且应该是本地文件。
hadoop.security.group.mapping.ldap.bind.password　绑定用户的密码。此属性名用作从凭据提供程序获取密码的别名。如果无法找到密码，hadoop.security.credential.clear-text-fallback是真的，则使用此属性的值作为密码。
hadoop.security.group.mapping.ldap.base　LDAP连接时搜索的根目录。
hadoop.security.group.mapping.ldap.userbase　指定用户LDAP连接时搜索的根目录。如果不设置此属性，则使用hadoop.security.group.mapping.ldap.base属性的值。
hadoop.security.group.mapping.ldap.groupbase　指定用户组LDAP连接时搜索的根目录。如果不设置此属性，则使用hadoop.security.group.mapping.ldap.base属性的值。
hadoop.security.group.mapping.ldap.search.filter.user(&(objectClass=user)(sAMAccountName={0}))搜索LDAP用户时提供的额外的筛选器。
hadoop.security.group.mapping.ldap.search.filter.group(objectClass=group)搜索LDAP用户组时提供的额外的筛选器。
hadoop.security.group.mapping.ldap.search.attr.memberof　用户对象的属性，用于标识其组对象。
hadoop.security.group.mapping.ldap.search.attr.membermember用户组对象的属性，用于标识其有哪些组成员。
hadoop.security.group.mapping.ldap.search.attr.group.namecn用户组对象的属性，用于标识用户组的名称。
hadoop.security.group.mapping.ldap.search.group.hierarchy.levels0当要确定用户所属的用户组时，此属性用于指定向上查找的层级数目。如果为0，则表示只查询当前用户所属的直接用户组，不再向上查找。
hadoop.security.group.mapping.ldap.posix.attr.uid.nameuidNumber posixAccount的属性，用于成员分组
hadoop.security.group.mapping.ldap.posix.attr.gid.namegidNumberposixAccount的属性，用户标识组ID。
hadoop.security.group.mapping.ldap.directory.search.timeout10000 LDAP SearchControl的属性，用于在搜索和等待结果时设置最大时间限制。如果需要无限等待时间，设置为0。默认值为10秒。单位为毫秒。
hadoop.security.group.mapping.providers　逗号分隔的提供商名称，用于用户组映射。
hadoop.security.group.mapping.providers.combinedTRUE标识提供商提供的级是否可以被组合。
hadoop.security.service.user.name.key　此属性用于指定RPC调用的服务主名称，适用于相同的RPC协议由多个服务器实现的情况。
fs.azure.user.agent.prefixunknownWASB提供给Azure的前缀，默认包括WASB版本、JAVA运行时版本、此属性的值等。
hadoop.security.uid.cache.secs14400控制缓存的过期时间。
hadoop.rpc.protectionauthentication一个逗号分隔的安全SASL连接的保护值列表。
hadoop.security.saslproperties.resolver.class　用于连接时解决QOP的SaslPropertiesResolver。
hadoop.security.sensitive-config-keyssecret$ password$ ssl.keystore.pass$ fs.s3.*[Ss]ecret.?[Kk]ey fs.s3a.*.server-side-encryption.key fs.azure.account.key.* credential$ oauth.*token$ hadoop.security.sensitive-config-keys一个逗号分隔的或多行的正则表达式列表。
hadoop.workaround.non.threadsafe.getpwuidTRUE一些系统已知在调用getpwuid_r和getpwgid_r有问题，这些调用是非线程安全的。这个问题的主要表现特征是JVM崩溃。如果你的系统有这些问题，开启这个选项。默认是关闭的。
hadoop.kerberos.kinit.commandkinit用于Kerberos证书的定时更新。
hadoop.kerberos.min.seconds.before.relogin60重新尝试登录Kerberos的最小时间间隔，单位为秒。
hadoop.security.auth_to_local　将Kerberos主体映射到本地用户名。
hadoop.token.files　具有Hadoop服务授权令牌的令牌缓存文件列表。
io.file.buffer.size4096在序列文件中使用的缓冲区大小。这个缓冲区的大小应该是页大小（英特尔x86上为4096）的倍数，它决定读写操作中缓冲了多少数据。
io.bytes.per.checksum512每个检验和的字节数，不能大于 io.file.buffer.size属性的值。
io.skip.checksum.errorsFALSE如果为true，当读取序列文件时遇到校验和错误，则跳过条目，而不是抛出异常。
io.compression.codecs　一组可用于压缩/解压缩的表列表，使用逗号进行分隔。
io.compression.codec.bzip2.librarysystem-native用于bzip2编解码的本地代码库，可以通过名称或全路径来指定该库。
io.serializationsorg.apache.hadoop.io.serializer.WritableSerialization, org.apache.hadoop.io.serializer.avro.AvroSpecificSerialization, org.apache.hadoop.io.serializer.avro.AvroReflectSerialization可用于获取序列化和反序列化的序列化类的列表。
io.seqfile.local.dir${hadoop.tmp.dir}/io/local存储中间数据文件的本地目录。
io.map.index.skip0跳过索引的数量。
io.map.index.interval128MapFile由两部分组成：数据文件和索引文件。在每个设置的时间间隔后，会根据写入的数据文件内容，创建索引对应的索引文件内容。
fs.defaultFSfile:///默认文件系统的名称。通常指定namenode的URI地址，包括主机和端口。
fs.default.namefile:///不建议使用此属性，建议用fs.defaultFS属性代替。
fs.trash.interval0检查点被删除的时间间隔，单位为分钟。此属性可以在服务器和客户端上配置。如果服务器上被禁用，则检查客户端配置，如果服务器上被启用，则忽略客户端配置。
fs.trash.checkpoint.interval0检查点之间的时间间隔，此属性的值应该小于fs.trash.interval属性的值。每次检查指针运行时，它都会创建一个新的检查点，并移除在几分钟前创建的检查点。
fs.protected.directories　一个逗号分隔的目录列表，即使是空的，也不能被超级用户删除。此设置可用于防止重要系统目录因管理员错误而意外删除。 
fs.AbstractFileSystem.file.implorg.apache.hadoop.fs.local.LocalFsfile的抽象文件类。
fs.AbstractFileSystem.har.implorg.apache.hadoop.fs.HarFshar的抽象文件类。
fs.AbstractFileSystem.hdfs.implorg.apache.hadoop.fs.Hdfshdfs的抽象文件类。
fs.AbstractFileSystem.viewfs.implorg.apache.hadoop.fs.viewfs.ViewFsviewfs的抽象文件类。
fs.viewfs.rename.strategySAME_MOUNTPOINT允许在多个挂载点间重命名。
fs.AbstractFileSystem.ftp.implorg.apache.hadoop.fs.ftp.FtpFsftp的抽象文件类。
fs.AbstractFileSystem.webhdfs.implorg.apache.hadoop.fs.WebHdfswebhdfs的抽象文件类。
fs.AbstractFileSystem.swebhdfs.implorg.apache.hadoop.fs.SWebHdfsswebhdfs的抽象文件类。
fs.ftp.host0.0.0.0ftp的连接服务器。
fs.ftp.host.port21ftp的连接服务器端口。
fs.ftp.data.connection.modeACTIVE_LOCAL_DATA_CONNECTION_MODEftp客户端的数据连接模式，有如下选项ACTIVE_LOCAL_DATA_CONNECTION_MODE，PASSIVE_LOCAL_DATA_CONNECTION_MODE 和PASSIVE_REMOTE_DATA_CONNECTION_MODE。
fs.ftp.transfer.modeBLOCK_TRANSFER_MODEftp的数据传输模式，有如下选项 STREAM_TRANSFER_MODE，BLOCK_TRANSFER_MODE 和COMPRESSED_TRANSFER_MODE。
fs.df.interval60000磁盘使用统计情况的刷新时间间隔。
fs.du.interval600000文件空间使用统计情况的刷新时间间隔。
fs.s3.awsAccessKeyId　S3使用的AWS访问密钥ID。
fs.s3.awsSecretAccessKey　S3使用的AWS密钥.
fs.s3.block.size67108864S3使用的块大小。
fs.s3.buffer.dir${hadoop.tmp.dir}/s3该目录用于发送S3前的临时本地目录。
fs.s3.maxRetries4在向应用程序发出故障之前，读取或写入文件到S3的最大重试次数。
fs.s3.sleepTimeSeconds10在每次S3重试之间的睡眠时间间隔。
fs.swift.implorg.apache.hadoop.fs.swift.snative.SwiftNativeFileSystemOpenStack Swift Filesystem的实现类。
fs.automatic.closeTRUE当为true时，FileSystem的实例会在程序退出时关闭，为false时，不自动退出。
fs.s3n.awsAccessKeyId　S3本地文件系统使用的AWS访问密钥ID。
fs.s3n.awsSecretAccessKey　S3本地文件系统使用的AWS密钥.
fs.s3n.block.size67108864S3本地文件系统使用的块大小。
fs.s3n.multipart.uploads.enabledFALSE为true时，允许多个上传到本地S3。当上传一个的大小超过fs.s3n.multipart.uploads.block.size属性的大小，则将其分割成块。
fs.s3n.multipart.uploads.block.size67108864多上传到本地S3时的块大小，默认大小为64MB。
fs.s3n.multipart.copy.block.size5368709120多拷贝时的块大小，默认大小为5GB。
fs.s3n.server-side-encryption-algorithm　为S3指定服务器端加密算法。默认情况下未设置，而当前唯一允许的值是AES256。
fs.s3a.access.key　S3A文件系统使用的AWS访问密钥ID。
fs.s3a.secret.key　S3A文件系统使用的AWS密钥。
fs.s3a.aws.credentials.provider　一组com.amazonaws.auth.AWSCredentialsProvider的实现类，按照顺序加载和查询。
fs.s3a.session.token　当使用org.apache.hadoop.fs.s3a.TemporaryAWSCredentialsProvider时的会话令牌。
fs.s3a.security.credential.provider.path　hadoop.security.credential.provider.path属性的一个子集
fs.s3a.connection.maximum15S3A的最大连接数。
fs.s3a.connection.ssl.enabledTRUE是否启用SSL连接到S3A。
fs.s3a.endpoint　AWS S3 连接终端。
fs.s3a.path.style.accessFALSE启用S3A path style访问，即禁用默认虚拟的互联网行为。
fs.s3a.proxy.host　S3A连接代理的主机名。
fs.s3a.proxy.port　S3A连接代理的端口，如果未设置，默认为80或443。
fs.s3a.proxy.username　S3A连接代理的用户名。
fs.s3a.proxy.password　S3A连接代理的密码。
fs.s3a.proxy.domain　S3A连接代理的域。
fs.s3a.proxy.workstation　S3A连接代理的工作站。
fs.s3a.attempts.maximum20当出现错误时的最大重试次数。
fs.s3a.connection.establish.timeout5000Socket连接建立超时时间，单位为毫秒。
fs.s3a.connection.timeout200000Socket连接保持时间，单位为毫秒。
fs.s3a.socket.send.buffer8192Socket 发送缓冲大小，单位为字节。
fs.s3a.socket.recv.buffer8192Socket 接收缓冲大小，单位为字节。
fs.s3a.paging.maximum5000在读取目录列表时，从S3A同时请求的密钥最大数量。
fs.s3a.threads.max10文件请求的最大并发线程数。
fs.s3a.threads.keepalivetime60线程空间多长时间后，即终止。单位为秒。
fs.s3a.max.total.tasks5可以并发执行的操作数。
fs.s3a.multipart.size100Mupload或copy操作，当文件超过多大时，即拆分。单位可以为K/M/G/T/P。
fs.s3a.multipart.threshold2147483647upload或copy或rename操作，当文件超过多大时，即拆分。单位可以为K/M/G/T/P，不写表示字节。
fs.s3a.multiobjectdelete.enableTRUE当启用时，多个单对象的删除，被单个多对象的删除替代，以减少请求数。
fs.s3a.acl.default　选项有Private、PublicRead,、PublicReadWrite、 AuthenticatedRead、LogDeliveryWrite、 BucketOwnerRead、 or BucketOwnerFullControl。
fs.s3a.multipart.purgeFALSE当为true时，清除多文件上传失败时的文件。
fs.s3a.multipart.purge.age86400清理多文件上传的最小秒数。
fs.s3a.server-side-encryption-algorithm　为S3A指定服务器端加密算法，可以为 'AES256' (for SSE-S3)、 'SSE-KMS' 或 'SSE-C'.
fs.s3a.server-side-encryption.key　如果 fs.s3a.server-side-encryption-algorithm属性值为'SSE-KMS' or 'SSE-C'，则使用特定的加密密钥。在SSE-C的情况下，这个属性的值应该是Base64编码的密钥，在SSE-KMS的情况下，如果该属性为空，则使用默认的S3KMS密钥，否则应将该属性设置为特定的KMS密钥ID。
fs.s3a.signing-algorithm　重写默认签名算法。
fs.s3a.block.size32MS3A的块大小。
fs.s3a.buffer.dir${hadoop.tmp.dir}/s3a用于缓冲上传文件的目录。
fs.s3a.fast.uploadFALSE是否启用基于增量块的快速上传机制。
fs.s3a.fast.upload.bufferdisk选项可以为disk/array/bytebuffer。
fs.s3a.fast.upload.active.blocks4单个输出流可以激活的最大块数。
fs.s3a.readahead.range64K在关闭和重新打开S3 HTTP连接之前在seek()提前读取的字节。
fs.s3a.user.agent.prefix　设置一个自定义值，作为发送到S3的HTTP请求的头部。
fs.s3a.metadatastore.authoritativeFALSE当为true时，允许元数据作为真实的数据源。
fs.s3a.metadatastore.implorg.apache.hadoop.fs.s3a.s3guard.NullMetadataStore实现S3A的元数据存储类的完全限定名。
fs.s3a.s3guard.cli.prune.age86400000删除命令执行后，元数据在设定时间后被删除，单位为毫秒。
fs.s3a.implorg.apache.hadoop.fs.s3a.S3AFileSystemS3A文件系统的实现类 。
fs.s3a.s3guard.ddb.region　AWS DynamoDB连接域。
fs.s3a.s3guard.ddb.table　DynamoDB操作表名，如果此属性没有被设置，则使用S3的桶名。
fs.s3a.s3guard.ddb.table.createFALSE当为true时，S3A客户端将允许创建不存在的表。
fs.s3a.s3guard.ddb.table.capacity.read500读操作的吞吐量设置。
fs.s3a.s3guard.ddb.table.capacity.write100写操作的吞吐量设置。
fs.s3a.s3guard.ddb.max.retries9批量DynamoDB操作报错或取消前的最大重试次数。
fs.s3a.s3guard.ddb.background.sleep25批量删除时，每个删除间的时间间隔，单位为毫秒。
fs.AbstractFileSystem.s3a.implorg.apache.hadoop.fs.s3a.S3AS3A抽象文件系统的实现类。
fs.wasb.implorg.apache.hadoop.fs.azure.NativeAzureFileSystem原生Azure文件系统的实现类。
fs.wasbs.implorg.apache.hadoop.fs.azure.NativeAzureFileSystem$Secure安全原生Azure文件系统的实现类。
fs.azure.secure.modeFALSE当为true时，允许 fs.azure.NativeAzureFileSystem使用SAS密钥与Azure存储进行通信。
fs.azure.local.sas.key.modeFALSE当为true时，fs.azure.NativeAzureFileSystem使用本地SAS密钥生成，当为false，此属性无意义。
fs.azure.sas.expiry.period90d生成的SAS密钥过期时间，单位可以是ms(millis)， s(sec)， m(min)， h(hour)， d(day) 。
fs.azure.authorizationFALSE当为true时，启用WASB的授权支持。
fs.azure.authorization.caching.enableTRUE当为true时，开户授权结果的缓存。
fs.azure.saskey.usecontainersaskeyforallaccessTRUE当为true时，使用容器内的SAS密钥访问blob，专用密钥无效。
fs.adl.implorg.apache.hadoop.fs.adl.AdlFileSystem　
fs.AbstractFileSystem.adl.implorg.apache.hadoop.fs.adl.Adl　
io.seqfile.compress.blocksize1000000块压缩序列文件中压缩的最小块大小。
io.mapfile.bloom.size1048576BloomMapFile中的bloom过滤器大小。
io.mapfile.bloom.error.rate0.005BloomMapFile中的bloom过滤器的假负率，默认是0.5%。
hadoop.util.hash.typemurmurHash的默认实现，有两个选项murmur和jenkins。
ipc.client.idlethreshold4000定义连接的阈值数量，之后将检查连接是否空闲。
ipc.client.kill.max10定义一次断开的客户端的最大数量。
ipc.client.connection.maxidletime10000空间连接断开时间，单位为毫秒。
ipc.client.connect.max.retries10客户端重新建立服务器连接的重试次数。
ipc.client.connect.retry.interval1000两次重新建立连接之间的时间间隔，单位为毫秒。
ipc.client.connect.timeout20000客户端通过socket连接到服务器的超时时间。
ipc.client.connect.max.retries.on.timeouts45客户端通过socket重新连接到服务器的重试次数。
ipc.client.tcpnodelayTRUE当为true时，使用TCP_NODELAY标志绕过Nagle的算法传输延迟。
ipc.client.low-latencyFALSE当为true时，使用低延迟在QoS标记。
ipc.client.pingTRUE当为true时，如果读取响应超时，则向服务器发送ping命令。
ipc.ping.interval60000等待服务器响应的超时时间，单位为毫秒。当ipc.client.ping属性为true时，客户端将在不接收字节的情况下发送Ping命令。
ipc.client.rpc-timeout.ms0等待服务器响应的超时时间，单位为毫秒。当ipc.client.ping属性为true，并且这个属性的时间比 ipc.ping.interval属性的值大时，这个属性的时间将被修改为 ipc.ping.interval的最大倍数。
ipc.server.listen.queue.size128接受客户端连接的服务器的侦听队列的长度。
ipc.server.log.slow.rpcFALSE此设置有助于排除各种服务的性能问题。如果这个值设置为true，将被记录请求。
ipc.maximum.data.length67108864服务器可以接受的最大IPC消息长度（字节）。
ipc.maximum.response.length134217728服务器可以接受的最大IPC消息长度（字节）。设置为0禁用。
hadoop.security.impersonation.provider.class　ImpersonationProvider接口的实现类，用于授权一个用户是否可以模拟特定用户。如果未指定，则使用DefaultImpersonationProvider实现。
hadoop.rpc.socket.factory.class.defaultorg.apache.hadoop.net.StandardSocketFactory默认使用SocketFactory，参数格式为package.FactoryClassName。
hadoop.rpc.socket.factory.class.ClientProtocol　连接到DFS的SocketFactory，如果为空，则使用 hadoop.rpc.socket.class.default属性的值。
hadoop.socks.server　SocksSocketFactory使用的SOCKS服务器的地址（主机：端口）。
net.topology.node.switch.mapping.implorg.apache.hadoop.net.ScriptBasedMappingDNSToSwitchMapping的默认实现，其调用net.topology.script.file.name属性的值来解析节点名称。
net.topology.implorg.apache.hadoop.net.NetworkTopologyNetworkTopology的默认实现，它是典型的三层拓扑结构。
net.topology.script.file.name　该脚本被用于解析DNS的名称，例如，脚本将接收host.foo.bar，然后返回 /rack1。
net.topology.script.number.args100net.topology.script.file.name属性中参数的最大数量。
net.topology.table.file.name　当net.topology.node.switch.mapping.impl属性的值为 org.apache.hadoop.net.TableMapping时适用，表示一个拓扑文件。该文件格式是两列文本，列由空白分隔。第一列是DNS或IP地址，第二列指定地址映射的机架。如果没有找到对应于集群中的主机的条目，则假设默认机架。
file.stream-buffer-size4096流文件的缓冲区大小，这个大小应该是页大小的位数（X86为4096）。
file.bytes-per-checksum512每个校验和的字节数。
file.client-write-packet-size65536客户机写入的数据包大小。
file.blocksize67108864块大小。
file.replication1复制因子。
s3.stream-buffer-size4096流文件的缓冲区大小，这个大小应该是页大小的位数（X86为4096）。
s3.bytes-per-checksum512每个校验和的字节数，该数值不能大于 s3.stream-buffer-size属性的值。
s3.client-write-packet-size65536客户机写入的数据包大小。
s3.blocksize67108864块大小。
s3.replication3复制因子。
s3native.stream-buffer-size4096流文件的缓冲区大小，这个大小应该是页大小的位数（X86为4096）。
s3native.bytes-per-checksum512每个校验和的字节数，该数值不能大于 s3native.stream-buffer-size属性的值。
s3native.client-write-packet-size65536客户机写入的数据包大小。
s3native.blocksize67108864块大小。
s3native.replication3复制因子。
ftp.stream-buffer-size4096流文件的缓冲区大小，这个大小应该是页大小的位数（X86为4096）。
ftp.bytes-per-checksum512每个校验和的字节数，该数值不能大于ftp.stream-buffer-size属性的值。
ftp.client-write-packet-size65536客户机写入的数据包大小。
ftp.blocksize67108864块大小。
ftp.replication3复制因子。
tfile.io.chunk.size1048576chunk大小，单位为字节，默认为1MB。
tfile.fs.output.buffer.size262144FSDataOutputStream中使用的缓冲区大小。
tfile.fs.input.buffer.size262144FSDataInputStream使用的缓冲区大小。
hadoop.http.authentication.typesimple定义了Oozie HTTP终端的认证方式，支持simple和kerberos。
hadoop.http.authentication.token.validity36000验证令牌的有效时长，单位为秒。
hadoop.http.authentication.signature.secret.file${user.home}/hadoop-http-auth-signature-secret签署认证令牌的签名秘密。同样的秘密应该用于JT/NN/DN/TT配置。
hadoop.http.authentication.cookie.domain　用于存储身份验证令牌的HTTP Cookie域。为了授权在所有Hadoop节点Web控制台上正确工作，必须正确设置域。重要事项：当使用IP地址时，浏览器忽略具有域设置的Cookie。为了使该设置正常工作，集群中的所有节点必须配置为具有主机名的URL。
hadoop.http.authentication.simple.anonymous.allowedTRUE当使用'simple'认证时，是否允许匿名请求。
hadoop.http.authentication.kerberos.principalHTTP/_HOST@LOCALHOSTHTTP终端中使用的Kerberos principal，该principal必须以 'HTTP/'开头。
hadoop.http.authentication.kerberos.keytab${user.home}/hadoop.keytabkeytab文件的位置。
hadoop.http.cross-origin.enabledFALSE是否启用cross-origin (CORS)过滤器。
hadoop.http.cross-origin.allowed-origins*需要cross-origin (CORS)支持的web服务的来源列表，用逗号分隔。
hadoop.http.cross-origin.allowed-methodsGET,POST,HEAD需要cross-origin (CORS)支持的方法列表，用逗号分隔。
hadoop.http.cross-origin.allowed-headersX-Requested-With,Content-Type,Accept,Origin需要cross-origin (CORS)支持的web服务的的头部，用逗号分隔。
hadoop.http.cross-origin.max-age1800需要cross-origin (CORS)支持的web服务缓存支持秒数。
dfs.ha.fencing.methods　fencing方法列表。
dfs.ha.fencing.ssh.connect-timeout30000SSH连接超时时长，单位为毫秒。
dfs.ha.fencing.ssh.private-key-files　SSH私钥文件。
hadoop.http.staticuser.userdr.who呈现内容时在静态Web筛选器上进行过滤的用户名，比如在HDFS web UI中的过滤。
ha.zookeeper.quorum　ZooKeeper服务器地址列表，用逗号分隔，可以被ZKFailoverController用于自动故障转移。
ha.zookeeper.session-timeout.ms5000ZKFC连接到ZooKeeper的超时时长，将该值设置为较低的值意味着服务器崩溃将被更快地检测到，但在瞬态错误或网络错误的情况下，就会使故障转移过于激进。
ha.zookeeper.parent-znode/hadoop-haZKFC下的存储信息的znode。
ha.zookeeper.aclworld:anyone:rwcdaznode使用的ZooKeeper ACL列表，用逗号分隔。格式同ZooKeeper CLI。如果ACL本身包含秘密，那么您可以指定一个文件的路径，用“@”符号前缀，并且该配置的值将从内部加载。
ha.zookeeper.auth　连接到ZooKeeper时，将该列表加入到认证列表，此列表用逗号分隔。
hadoop.ssl.keystores.factory.classorg.apache.hadoop.security.ssl.FileBasedKeyStoresFactory用于检索证书的密钥存储工厂。
hadoop.ssl.require.client.certFALSE是否需要客户端证书。
hadoop.ssl.hostname.verifierDEFAULT提供HttpsURL连接主机名验证器。有以下选项：DEFAULT， STRICT， STRICT_IE6， DEFAULT_AND_LOCALHOST 和 ALLOW_ALL。
hadoop.ssl.server.confssl-server.xml提取SSL服务器密钥存储信息的资源文件，这个文件通过在classpath中查询。默认为hadoop下的conf/ 目录。
hadoop.ssl.client.confssl-client.xml提取SSL客户端密钥存储信息的资源文件，这个文件通过在classpath中查询。默认为hadoop下的conf/ 目录。
hadoop.ssl.enabledFALSE不建议使用，建议用dfs.http.policy and yarn.http.policy代替。
hadoop.ssl.enabled.protocolsTLSv1,SSLv2Hello,TLSv1.1,TLSv1.2支持的SSL协议列表。The supported SSL protocols.
hadoop.jetty.logs.serve.aliasesTRUE对于jetty的服务是否启用别名。
fs.permissions.umask-mode22创建文件或目录时的umask。例如"022" (符号表示就是 u=rwx,g=r-x,o=r-x )，或者 "u=rwx,g=rwx,o=" (用八进制表示就是007)。
ha.health-monitor.connect-retry-interval.ms1000重试连接到服务的频率。
ha.health-monitor.check-interval.ms1000多久检查一次服务
ha.health-monitor.sleep-after-disconnect.ms1000在异常RPC错误之后，休眠多长时间。
ha.health-monitor.rpc-timeout.ms45000实际 monitorHealth() 调用超时时间。
ha.failover-controller.new-active.rpc-timeout.ms60000FC等待新任务的超时时间，在设置时间内有新任务，即重新进入激活状态。
ha.failover-controller.graceful-fence.rpc-timeout.ms5000FC等待旧任务的超时时间，然后进入待机。
ha.failover-controller.graceful-fence.connection.retries1graceful fencing中FC连接的重试次数。
ha.failover-controller.cli-check.rpc-timeout.ms20000CLI (manual) FC等待monitorHealth, getServiceState的超时时间。
ipc.client.fallback-to-simple-auth-allowedFALSE当客户端被配置为尝试安全连接，但尝试连接到不安全的服务器时，该服务器可以指示客户端切换到SASL SIMPLE（非安全）认证。此设置控制客户端是否将接受来自服务器的此指令。当FALSE（默认）时，客户端将不允许退回到简单的身份验证，并将中止连接。 
fs.client.resolve.remote.symlinksTRUE在访问远程Hadoop文件系统时，是否解析符号连接。当为false时，如果遇到符号连接，则触发异常。此设置对于本地文件系统不适用，对于本地文件系统，会自动解析符号连接。
nfs.exports.allowed.hosts* rw默认情况下，所有客户端都可以导出。该属性的值包含机构号和访问权限，由空格分隔。机器名称的格式可以是一个单一的主机，一个java正则表达式，或一个IPv4地址。访问特权使用RW或RO来指定机器的读/写权限。如果未提供访问特权，则默认为只读。条目由“；”分隔。例如：“192.1680.0/22RW；主机。*.Stase\.com；Hoo1.Test.Org Ro；”。只有更新了NFS网关之后，才能重新启动该属性。
hadoop.user.group.static.mapping.overridesdr.who=;用户到组的静态映射。如果指定的用户在系统中可用，则这将覆盖组。换句话说，这些用户不会出现组查找，而是使用在这个配置中映射的组。映射应采用这种格式。USER1＝GROMP1，GROP2；USER2=；USER3= GROP2；默认“DR.WH=”将考虑“D.WHO”作为没有组的用户。
rpc.metrics.quantile.enableFALSE当为true，并且rpc.metrics.percentiles.intervals属性为一组逗号分隔的度量时，将在百分位50/75/90/95/99时，加入rpc metrics。
rpc.metrics.percentiles.intervals　接上一属性，和rpc.metrics.quantile.enable配合使用。
hadoop.security.crypto.codec.classes.EXAMPLECIPHERSUITE　对于给定的加密编解码器的前缀，包含一个逗号分隔的给定密码编解码器（例如EXAMPLECIPHERSUITE）的实现类。如果可用的话，第一个实现将被使用，其他的则是回退。
hadoop.security.crypto.codec.classes.aes.ctr.nopaddingorg.apache.hadoop.crypto.OpensslAesCtrCryptoCodec, org.apache.hadoop.crypto.JceAesCtrCryptoCodecAES/CTR/NopAudio的加密编解码器实现类，用逗号分隔。如果可用的话，第一个实现将被使用，其他的则是回退。
hadoop.security.crypto.cipher.suiteAES/CTR/NoPadding用于加密编解码器的密码套件。
hadoop.security.crypto.jce.provider　CryptoCodec中使用的JCE提供程序名称。
hadoop.security.crypto.buffer.size8192CryptoInputStream和CryptoOutputStream使用的缓冲区大小。
hadoop.security.java.secure.random.algorithmSHA1PRNGjava安全随机算法。
hadoop.security.secure.random.impl　安全随机的实现。
hadoop.security.random.device.file.path/dev/urandomOS安全随机设备文件路径。
hadoop.security.key.provider.path　在管理区域密钥时使用的密钥提供程序。对于HDFS客户端，提供程序路径将与NAMENODE的提供程序路径相同。 
fs.har.impl.disable.cacheTRUE当为true时，不缓存“HAR”文件系统实例。
hadoop.security.kms.client.authentication.retry-count1在认证失败时重试连接到KMS的次数。
hadoop.security.kms.client.encrypted.key.cache.size500EncryptedKeyVersion缓存队列的大小。
hadoop.security.kms.client.encrypted.key.cache.low-watermark0.3f如果EncryptedKeyVersion缓存队列大小低于watermark，队列将被重新调度填充。
hadoop.security.kms.client.encrypted.key.cache.num.refill.threads2重新填充EncryptedKeyVersion缓存队列的线程数。
hadoop.security.kms.client.encrypted.key.cache.expiry43200000密钥过期时间，默认为12小时。
hadoop.security.kms.client.timeout60KMS连接超时时间。
hadoop.security.kms.client.failover.sleep.base.millis100在故障转移尝试之间以指数形式增加时长，这是迄今为止尝试的数目的函数，具有+/- 50%的随机因子。此选项指定在故障转移计算中使用的基值。第一次故障转移将立即重试。第二次故障转移尝试将延迟至少hadoop.security.client.failover.sleep.base.millis属性的值之后……单位为毫秒
hadoop.security.kms.client.failover.sleep.max.millis2000在故障转移尝试之间以指数形式增加时长，这是迄今为止尝试的数目的函数，具有+/- 50%的随机因子。此选项指定在故障转移之间等待的最大值。具体来说，两个故障转移尝试之间的时间将不超过 hadoop.security.client.failover.sleep.max.millis属性的值，单位为毫秒。
ipc.server.max.connections0服务器接受的最大并发连接数。
hadoop.registry.rm.enabledFALSE是否在YARN Resource Manager中启用注册表。
hadoop.registry.zk.root/registry注册表的根zookeeper节点。
hadoop.registry.zk.session.timeout.ms60000Zookeeper会话超时时间，单位为毫秒。
hadoop.registry.zk.connection.timeout.ms15000Zookeeper连接超时时间，单位为毫秒。
hadoop.registry.zk.retry.times5Zookeeper连接重试最大次数。
hadoop.registry.zk.retry.interval.ms1000Zookeeper连接重试间隔。
hadoop.registry.zk.retry.ceiling.ms60000Zookeeper重试的时长限制，单位为毫秒。
hadoop.registry.zk.quorumlocalhost:2181绑定注册表的zookeeper的主机名列表。
hadoop.registry.secureFALSE注册表是否是安全的。
hadoop.registry.system.aclssasl:yarn@, sasl:mapred@, sasl:hdfs@可以安全访问注册表的 zookeeper ACL列表。
hadoop.registry.kerberos.realm　Kerberos域。
hadoop.registry.jaas.contextClient定义 JAAS上下文的密钥，用于安全模式中。
hadoop.shell.missing.defaultFs.warningFALSE如果fs.defaultFS属性未设置，则在hdfs中启用shell命令打印警告信息。 
hadoop.shell.safely.delete.limit.num.files100使用hadoop fs -rm的-safe选项，以避免意外删除大目录。 当启用时，如果要删除的文件数量大于该限制，则-RM命令需要确认。默认的限制是100个文件。如果限制为0或在-RM命令中未指定安全性，则禁用警告。
fs.client.htrace.sampler.classes　hadoop文件系统客户端使用的HTrace Samplers类名。
hadoop.htrace.span.receiver.classes　hadoop中使用的Span Receivers类名。
hadoop.http.logs.enabledTRUE当为true时，启用hadoop守护进程上的/logs终端。
fs.client.resolve.topology.enabledFALSE是否使用net.topology.node.switch.mapping.impl属性的值来计算客户端到远程机器之间的网络距离。
fs.adl.implorg.apache.hadoop.fs.adl.AdlFileSystem　
fs.AbstractFileSystem.adl.implorg.apache.hadoop.fs.adl.Adl　
adl.feature.ownerandgroup.enableupnFALSE为了获得最佳性能，建议使用FALSE。
fs.adl.oauth2.access.token.provider.typeClientCredential定义了Azure Active Directory OAuth2访问令牌提供程序类型。
fs.adl.oauth2.client.id　OAuth2客户端ID。
fs.adl.oauth2.credential　OAuth2访问密钥。
fs.adl.oauth2.refresh.url　OAuth2令牌终端。
fs.adl.oauth2.refresh.token　OAuth2刷新令牌。
fs.adl.oauth2.access.token.provider　OAuth2访问令牌提供程序的类名。
fs.adl.oauth2.msi.port　MSI令牌服务的本地端口，端口是在创建Azure VM时被指定的。如果未被指定，则用默认的50342。
fs.adl.oauth2.devicecode.clientapp.id　ADD本地app的ID。
hadoop.caller.context.enabledFALSE当为true时，附加的内容会被写入到namenode的log。
hadoop.caller.context.max.size128调用内容的最大字节数。
hadoop.caller.context.signature.max.size40服务器中允许签名的最大字节。
seq.io.sort.mb100当使用SequenceFile.Sorter时，可以用于排序的缓冲区总大小。单位为兆字节。默认情况下，每个合并流为1MB。
seq.io.sort.factor100当使用SequenceFile.Sorter时，允许同时合并的流数量。
hadoop.zk.address　ZooKeeper服务器地址。
hadoop.zk.num-retries1000尝试连接到ZooKeeper的数量。
hadoop.zk.retry-interval-ms1000连接到ZooKeeper的重试时间间隔，单位为毫秒。
hadoop.zk.timeout-ms10000ZooKeeper会话超时时间，单位为毫秒。 
hadoop.zk.aclworld:anyone:rwcda用于ZooKeeper znode的ACL。
hadoop.zk.auth　为hadoop.zk.acl属性中的ACL指定认证方式。

转载于:https://www.cnblogs.com/jpcflyer/p/8934601.html

weixin_34387284
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop配置文件参数整理(1)---core-site.xml
海贼的船
06-11 6670
Hadoop集群的配置参数实在是太多了，作为初学者，可以先不用管这些参数代表什么意思，也不需要深究每一个参数该如何配置。一般网上搭建环境的教程一搜一大堆，跟着配置一下，让集群先运行起来。之后，在操作的过程中，你可以进一步熟悉Hadoop的工作原理，hdfs文件系统的操作命令等。Hadoop集群配置的参数实在太多了，先列个目录整理下用到的参数，后面有继续用到的，再接着补充。此篇为core-site.x
Hadoop之core-site.xml配置文件
清风自来
05-06 1万+
下面介绍一下core-site.xml文件的配置： 增加hadoop核心配置（hdfs文件端口是9000）core-site.xml文件中包含的信息，如使用Hadoop实例分配给文件系统的存储器，用于存储数据的内存限制的端口号，以及读/写缓冲器的大小。 <configuration> <property> <name>fs.defaultFS</na...
Hadoop-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece
最新发布
永远好奇，无限进步！
06-28 1133
上一节顺利完成了基础环境的配置，但是对于Hadoop来说，目前还有一些XML的配置需要我们修改，这样后续才能组装成集群来运行。接下来我们就进行一些XM这里是三台公网云服务器，每台 2C4G，搭建一个Hadoop的学习环境，供我学习。之前已经在 VM 虚拟机上搭建过一次，但是没留下笔记，这次趁着前几天薅羊毛的3台机器，赶紧尝试在公网上搭建体验一下。注意，如果你和我一样，打算用公网部署，那一定要做好防火墙策略，避免不必要的麻烦！！！
Hadoop配置项(core-site.xml)
u014078192的专栏
06-03 3617
name value  Description   fs.default.name hdfs://hadoopmaster:9000 定义HadoopMaster的URI和端口  fs.checkpoint.dir /opt/data/hadoop1/hdfs/namesecondary1 定义hado
【Hadoop】core-site.xml配置文件详解
热门推荐
康师傅没有眼泪
10-16 1万+
-- 一个逗号分隔的类名列表，他们必须继承于org.apache.hadoop.http.FilterInitializer，相应的过滤器被初始化后，将应用于所有的JSP和Servlet网页 -->但是这对小数据包是不利的。
Hadoop的core-site.xml配置文件
muyingmiao的专栏
08-20 3331
<?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <!--Yarn 需要使用 fs.defaultFS 指定NameNode URI --> <p...
HadoopHA高可用集群配置 core-site.xml
07-07
在搭建Hadoop高可用（High Availability, HA）集群时，`core-site.xml`是其中一个至关重要的配置文件。它主要用于定义Hadoop集群的基本属性，如默认的文件系统路径、临时目录以及与ZooKeeper集成的相关设置等。本文...
spark-2.1.0-bin-without-hadoop.tgz.7z
04-05
在安装与配置Spark 2.1.0时，用户需要根据自己的Hadoop环境，将相应的Hadoop配置文件（如core-site.xml、hdfs-site.xml）复制到Spark的conf目录下。此外，还需要设置SPARK_HOME环境变量，并在启动时指定master节点，...
hadoop-2.7.5-with-centos7.6.tar.gz
08-24
3. 修改配置文件：主要修改hadoop/conf目录下的core-site.xml、hdfs-site.xml、yarn-site.xml和mapred-site.xml，设置HDFS、YARN和MapReduce的相关参数。 4. 初始化HDFS：执行hdfs namenode -format命令对NameNode...
hadoop-3.1.3.tar.gz
12-06
在Hadoop的配置目录（$HADOOP_HOME/etc/hadoop）下，有两个主要的配置文件：core-site.xml和hdfs-site.xml。核心配置core-site.xml主要设置临时目录和HDFS的访问方式，例如： ```xml <name>fs.defaultFS ...
hadoop-fuse-dfs安装.docx
07-30
- 下载CDH集群中的HDFS客户端配置文件，并将`core-site.xml`和`hdfs-site.xml`两个文件复制到`/etc/hadoop/conf.empty`目录下覆盖原有文件，以确保Hadoop-Fuse-Dfs使用的是与CDH集群一致的配置信息。 #### 三、...
Hadoop core-site.xml配置文件
12-17
Linux系统Centos7安装hadoop2.9.2所需部分配置文件，为了避免资源的浪费，以及更多人能够利用上，本人便将这些文件上传至此
Hadoop配置文件之(core-site.xml)
swx7410852963的博客
12-19 2017
<?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <!-- 指定NameNode的地址 --> <property> <name>fs.defaultFS</name> <value&gt.
hadoop core-site.xml、hdfs-site.xml、mapred-site.xml
04-19 2610
3.1  core-default.html 序号 参数名 参数值 参数说明 1 hadoop.tmp.dir                       /tmp/hadoop-${user.name}                             
hadoop配置文件core-site.xml
cts618
08-13 1956
hadoop配置文件core-site.xml
hadoop配置core-site.xml,hdfs-site.xml,mapred-site.xml
Rnan_prince的博客
12-08 4655
配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，有两个方法可以正确配置: 1.选择相应版本的hadoop,下载解压后，搜索*.xml,找到core-default.xml,hdfs-default.xml,mapred-default.xml,这些就是默认配置,可以参考这些配置的说明和key，配置hadoop集群。 2.浏览apache官网,三个配置文件链接如下: http://hadoop.apache.org/docs
Hadoop配置文件解析__core-site.xml
feizuiku0116的博客
10-11 613
<!-- 设置默认使用的文件系统 Hadoop支持file、HDFS、GFS、ali|Amazon云等文件系统 --> <configuration> <!-- 设置NameNode对外提供HDFS服务的端口为9000--> <property> <name>fs.defaultFS</name> <value>hdfs://node1:8020</value> </propert
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值