Kudu配置文件参数解析

介绍

	配置文件决定了kudu的处理行为，你可以在命令行给kudu启动时传递flags标记，也可以在启动kudu时通过加载一个或者多个--flagfile配置文件来影响kudu的行为，一个flagfile配置文件可以引用其他flagfile配置文件，

kudu-master

stable-flags
	标记为stable标记，但是没有advanced标记的，是普通的配置项

--block_cache_capacity_mb：block cache的容量，默认512MB
--log_force_fsync_all：每次写操作，是否需要把Log/WAL立即调用fsync()刷新到磁盘上，默认false
--fs_data_dirs：一个逗号分隔的目录，用来存储data block，如果没有指定，则fs_wal_dir参数值用来作为唯一的data block目录，默认""
--fs_wal_dir：WAL的日志目录，如果没有指定，则进程无法启动，可以和fs_data_dirs参数值一样，默认""
--master_addresses：一个逗号分隔的master rpc地址列表，如果没指定，则是非master复制模式
--keytab_file：kerberos相关
--rpc_bind_addresses：逗号分隔的监听地址，默认0.0.0.0，端口是7051
--superuser_acl：一个逗号分隔的用户名列表，指定哪些用户是超级用户，'*'表示所有用户都是超级用户，如果没有设置，则程序运行用户则是超级用户
--user_acl：一个逗号分隔的用户列表，哪些用户可以访问集群。'*'表示所有用户都可以访问
--webserver_certificate_file：SSL认证文件
--webserver_port：web服务监听端口，默认80581
--webserver_private_key_file：私钥地址
--log_filename：log日志文件名称的前缀，<log_dir>/<log_filename>.[INFO|WARN|ERROR|FATAL]
--maintenance_manager_num_threads：维护管理器的线程池大小，对于机械磁盘，线程大小应该大于磁盘驱动器大小。默认1
--memory_limit_hard_bytes：该进程可以使用的最大内存量，0表示根据系统内存自动调整，-1表示禁用内存限制
--memory_limit_soft_percentage：
--flagfile：配置文件地址
--colorlogtostderr：是否在错误日志中用颜色显示记录信息
--log_dir：如果指定了，则日志写入该目录，默认空
--logtostderr：错误日志打印到stderr而不是日志文件，默认false
--max_log_size：默认最大日志文件大小，默认1800MB

stable-advanced-flags

标记为stable和advanced的flags标记，是专家选项，应该经过测试和检查后使用

--enable_process_lifetime_heap_profiling：针对lifetime开启heap profiling，profile的输出存储在heap_profile_path路径下面，默认false
--heap_profile_path：heap profiles输出路径，如果没有指定，则默认是/tmp/<process-name>.<pid>.<n>.heap
--unlock_experimental_flags：解锁experimental标记，这些标记不能100%保证在kudu中进行维护，并且可能会不稳定，有一定风险，默认false
--unlock_unsafe_flags：解锁unsafe标记，这些标记不能100%保证在kudu中进行维护，并且可能会不稳定，有一定风险，默认false
--fromenv：在环境变量中设置flags，export FLAGS_flag1=value，默认空
--tryfromenv：如果存在环境设置标记，则从环境读取
--undefok：逗号分隔的flags名称，
--helpmatch：显示指定模块包含哪些substr
--helpon：显示由该标志值命名的模块的帮助
--helppackage：显示包里面的所有模块
--helpshort：显示该程序的主要模块
--helpxml：
--log_link：在该目录下面增加额外的连接到日志文件里面
--log_prefix：将日志前缀预加载到每个日志行的开头，默认true
--minloglevel：记录较低级别的消息，实际上不会记录在任何地方
--stderrthreshold：此级别以上的日志消息除了会记录到日志文件外，还会记录到stderr
--stop_logging_if_full_disk：如果磁盘满了是否停止写日志，默认false
--symbolize_stacktrace：
--vmodule：每个模块的详细级别，逗号分隔的<module name>=<log level>列表

evolving-flags

标记为evolving的flags还未被认为是最终标记，虽然他们对调整有用，但是这些标记的删除和改变不会通知你

--cfile_default_block_size：cfile的默认block大小，默认256MB
--cfile_default_compression_codec：默认的cfile压缩方式，默认空
--fault_crash_after_leader_request_fraction：leader在获取UpdateConsensus RPC响应时崩溃的时间
--raft_get_node_instance_timeout_ms：通过RPC获取节点数据的超时时间，默认30000ms
--consensus_max_batch_size_bytes：更新对等体时每片最大RPC批量大小。
--follower_unavailable_considered_failed_sec：leader获取不到follower的心跳多少秒之后，认为follower失效，默认300s
--fs_wal_dir_reserved_bytes：
--group_commit_queue_size_bytes：组提交队列的最大大小，默认4MB
--log_min_segments_to_retain：始终保持的最小数量的历史日志段，而不考虑持久性所需。 必须至少为1，默认2
--global_log_cache_size_limit_mb：服务端的全局访问缓存大小，默认1024MB
--log_async_preallocate_segments：WAL段预分配是否应该异步发生，默认true
--log_cache_size_limit_mb：每个tablet节点可在内存可缓存的最大条目，如果超过次容量限制，则最早的被替换出去，默认128MB
--log_preallocate_segments：WAL是否应在写入之前预先分配整个段，默认true
--log_segment_size_mb：段的默认大小，默认64MB	
--evict_failed_followers：
--leader_failure_max_missed_heartbeat_periods
--raft_heartbeat_interval_ms
--safe_time_advancement_without_writes
--block_manager_max_open_files：data block可以打开的文件描述符，0表示没限制，-1表示40%的使用资源，默认-1
--fs_data_dirs_full_disk_cache_seconds：在块管理器中缓存全盘状态的秒数。 在此期间，不会尝试写入相应的根路径。
--fs_data_dirs_reserved_bytes
--block_manager：块管理使用的存储类型，有file和log，默认log
--log_container_max_blocks：一个日志container的最大block数量，0表示没有限制，-1没有限制，除了在ext4系统在内核上有hole bug
--log_container_max_size：日志container的最大大小
--log_container_preallocate_bytes：创建新块时在日志容器中预分配的字节数。 设置为0以禁用预分配
--catalog_manager_delete_orphaned_tablets
--default_num_replicas：table的默认副本数，默认3
--master_ts_rpc_timeout_ms：master到TS的async rpc调用超时时间
--max_create_tablets_per_ts：可以为一个新table请求TS的数量，默认20
--table_locations_ttl_ms
--tablet_creation_timeout_ms
--unresponsive_ts_rpc_timeout_ms
--tserver_unresponsive_timeout_ms
--rpc_acceptor_listen_backlog
--rpc_authentication
--rpc_default_keepalive_time_ms
--rpc_encryption
--rpc_encrypt_loopback_connections
--rpc_callback_max_cycles
--rpc_negotiation_timeout_ms
--remember_clients_ttl_ms
--remember_responses_ttl_ms
--rpc_dump_all_traces
--rpc_max_message_size
--rpc_tls_ciphers
--rpc_tls_min_protocol
--web_log_bytes
--max_clock_sync_error_usec
--rpc_num_acceptors_per_address
--rpc_num_service_threads
--rpc_service_queue_length
--max_negotiation_threads
--min_negotiation_threads
--num_reactor_threads
--webserver_enabled
--metrics_log_interval_ms
--webserver_max_post_length_bytes
--webserver_x_frame_options
--webserver_authentication_domain
--webserver_doc_root
--webserver_enable_doc_root
--webserver_interface
--webserver_num_worker_threads
--webserver_password_file
--enable_undo_delta_block_gc
--tablet_bloom_block_size：bllom的block大小
--tablet_bloom_target_fp_rate
--tablet_history_max_age_sec
--undo_delta_block_gc_init_budget_millis
--tablet_transaction_memory_limit_mb
--heartbeat_interval_ms
--heartbeat_max_failures_before_backoff
--heartbeat_rpc_timeout_ms
--scanner_ttl_ms
--scanner_batch_size_rows
--scanner_default_batch_size_bytes
--scanner_max_batch_size_bytes
--scanner_max_wait_ms
--num_tablets_to_copy_simultaneously
--num_tablets_to_open_simultaneously
--env_use_fsync
--file_cache_expiry_period_ms
--disable_core_dumps
--redact
--umask
--memory_limit_soft_percentage：在达到硬限制之前，此守护进程可占用该机器内存的百分比，默认60%
--memory_limit_warn_threshold_percentage：警告级别消息定期记录之前该守护程序可能消耗的机器内存限制的百分比，默认98%
--tcmalloc_max_free_bytes_percentage
--metrics_retirement_age_ms
--enable_minidumps
--max_minidumps
--minidump_path
--minidump_size_limit_hint_kb
--drop_log_memory
--log_backtrace_at
--logbuflevel
--logbufsecs

kudu-tserver

stable-flags

--block_cache_capacity_mb：block cache的容量，默认512MB
--log_force_fsync_all：每次写操作，是否需要把Log/WAL立即调用fsync()刷新到磁盘上，默认false
--fs_data_dirs：一个逗号分隔的目录，用来存储data block，如果没有指定，则fs_wal_dir参数值用来作为唯一的data block目录，默认""
--fs_wal_dir：WAL的日志目录，如果没有指定，则进程无法启动，可以和fs_data_dirs参数值一样，默认""
--master_addresses：一个逗号分隔的master rpc地址列表，如果没指定，则是非master复制模式
--keytab_file：kerberos相关
--rpc_bind_addresses：逗号分隔的监听地址，默认0.0.0.0，端口是7051
--superuser_acl：一个逗号分隔的用户名列表，指定哪些用户是超级用户，'*'表示所有用户都是超级用户，如果没有设置，则程序运行用户则是超级用户
--user_acl：一个逗号分隔的用户列表，哪些用户可以访问集群。'*'表示所有用户都可以访问
--webserver_certificate_file：SSL认证文件
--webserver_port：web服务监听端口，默认80581
--tserver_master_addrs：一个逗号分隔的tserver连接的masters地址
--webserver_private_key_file：私钥地址
--log_filename：log日志文件名称的前缀，<log_dir>/<log_filename>.[INFO|WARN|ERROR|FATAL]
--maintenance_manager_num_threads：维护管理器的线程池大小，对于机械磁盘，线程大小应该大于磁盘驱动器大小。默认1
--memory_limit_hard_bytes：该进程可以使用的最大内存量，0表示根据系统内存自动调整，-1表示禁用内存限制
--memory_limit_soft_percentage：
--flagfile：配置文件地址
--colorlogtostderr：是否在错误日志中用颜色显示记录信息
--log_dir：如果指定了，则日志写入该目录，默认空
--logtostderr：错误日志打印到stderr而不是日志文件，默认false
--max_log_size：默认最大日志文件大小，默认1800MB

stable-advanced-flags

--enable_process_lifetime_heap_profiling：针对lifetime开启heap profiling，profile的输出存储在heap_profile_path路径下面，默认false
--heap_profile_path：heap profiles输出路径，如果没有指定，则默认是/tmp/<process-name>.<pid>.<n>.heap
--unlock_experimental_flags：解锁experimental标记，这些标记不能100%保证在kudu中进行维护，并且可能会不稳定，有一定风险，默认false
--unlock_unsafe_flags：解锁unsafe标记，这些标记不能100%保证在kudu中进行维护，并且可能会不稳定，有一定风险，默认false
--fromenv：在环境变量中设置flags，export FLAGS_flag1=value，默认空
--tryfromenv：如果存在环境设置标记，则从环境读取
--undefok：逗号分隔的flags名称，
--helpmatch：显示指定模块包含哪些substr
--helpon：显示由该标志值命名的模块的帮助
--helppackage：显示包里面的所有模块
--helpshort：显示该程序的主要模块
--helpxml：
--log_link：在该目录下面增加额外的连接到日志文件里面
--log_prefix：将日志前缀预加载到每个日志行的开头，默认true
--minloglevel：记录较低级别的消息，实际上不会记录在任何地方
--stderrthreshold：此级别以上的日志消息除了会记录到日志文件外，还会记录到stderr
--stop_logging_if_full_disk：如果磁盘满了是否停止写日志，默认false
--symbolize_stacktrace：
--vmodule：每个模块的详细级别，逗号分隔的<module name>=<log level>列表

evolving-flags
        大部分和master都一样，就不列出来了。

转载自：https://my.oschina.net/guol/blog/910340