ELK日志系统7.10.0

ELK日志系统

Elasticsearch部署

(1)配置JDK

# ES运行依赖JDK，7.x版本需要JDK11版本
tar -zxf jdk-11.0.9_linux-x64_bin.tar.gz  -C /usr/local/
echo '
export JAVA_HOME=/usr/local/jdk-11.0.9
export PATH=$JAVA_HOME/bin:$PATH
' >> /etc/profile
source /etc/profile
java -version
#java version "11.0.9" 2020-10-20 LTS
#Java(TM) SE Runtime Environment 18.9 (build 11.0.9+7-LTS)
#Java HotSpot(TM) 64-Bit Server VM 18.9 (build 11.0.9+7-LTS, mixed mode)

(2)创建用户

## 因为Elasticsearch无法使用root用户启动，所有创建一个用户来启动Elasticsearch。
useradd elk
echo 'elk' | passwd --stdin "elk"

(3)安装配置

tar -zxf elasticsearch-7.10.0.tar.gz -C /usr/local/ 
echo '
cluster.name: bjbpe01-elk
node.name: elk01
node.master: true
node.data: true
path.data: /data/elasticsearch/data
path.logs: /data/elasticsearch/logs
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
network.host: 0.0.0.0
http.port: 9200
cluster.initial_master_nodes: ["elk01"]
#discovery.zen.ping.unicast.hosts: ["172.16.244.26", "172.16.244.27"]
#discovery.zen.minimum_master_nodes: 2
#discovery.zen.ping_timeout: 150s
#discovery.zen.fd.ping_retries: 10
#client.tansport.ping_timeout: 60s
http.cors.enabled: true
http.cors.allow-origin: "*"
' >> /usr/local/elasticsearch-7.10.0/conf/elasticsearch.yml

配置详解

cluster.name        ## 集群名称，各节点配成相同的集群名称。
node.name       ## 节点名称，各节点配置不同。
node.master     ## 指示某个节点是否符合成为主节点的条件。
node.data       ## 指示节点是否为数据节点。数据节点包含并管理索引的一部分。
path.data       ## 数据存储目录。
path.logs       ## 日志存储目录。
bootstrap.memory_lock       ## 内存锁定，是否禁用交换。
bootstrap.system_call_filter    ## 系统调用过滤器。
network.host   ## 绑定节点IP。
http.port       ## rest api端口。
cluster.initial_master_nodes  ## 集群协调子系统
discovery.zen.ping.unicast.hosts   ## 提供其他 Elasticsearch 服务节点的单点广播发现功能。
discovery.zen.minimum_master_nodes  ## 集群中可工作的具有Master节点资格的最小数量，官方的推荐值是(N/2)+1，其中N是具有master资格的节点的数量。
discovery.zen.ping_timeout     ## 节点在发现过程中的等待时间。
discovery.zen.fd.ping_retries  ## 节点发现重试次数。
http.cors.enabled               ## 是否允许跨源 REST 请求，用于允许head插件访问ES。
http.cors.allow-origin             ## 允许的源地址。

(4)设置JVM堆大小

sed -i 's/-Xms1g/-Xms4g/' /usr/local/elasticsearch-7.10.0/config/jvm.options
sed -i 's/-Xmx1g/-Xmx4g/' /usr/local/elasticsearch-7.10.0/config/jvm.options

(5)创建数据及日志存储目录

mkdir -p /data/elasticsearch/data
mkdir -p /data/elasticsearch/logs

(6)修改目录和存储用户权限

chown -R elk:elk /data/elasticsearch/
chown -R elk:elk /usr/local/elasticsearch-7.10.0/

(7)系统优化

## elasticsearch占用资源很大，如果不设置无法启动
## 增加最大文件打开数
echo