【ELK】docker-compose部署 7.2的坑

系统环境:Centos7
总结日期:2019.7.8-7.22
总结人:阿源 Wickychen

1.JAVA通过写入kafka到es中,出现报错日志,如图所示:在这里插入图片描述在这里插入图片描述

解决办法:

通过修改docker-compose.yml中的ES_JAVA_OPTS:的-Xmx 和-Xms的值//下面两种方式都可以

 ES_JAVA_OPTS: "-Xmx1024m -Xms1024m"
 ES_JAVA_OPTS: "-Xmx1g -Xms1g"

//文件路径在docker-elk/目录下
在这里插入图片描述
重新启动:
docker-compose 的一个坑 ,docker-compose restart 只是重启服务,而并不会重新读取docker-compose.yml文件 ,所以如果需要重新载入.yml文件的修改需要使用

docker-compose stop
docker-compose start

重启后无报错信息

2.logstash导入本地文件不生效

➜  docker-elk git:(master) ✗ cat logstash/pipeline/logstash.conf
input {
   
  file {
   
  //path表示是主机的路径,但是因为通过docker部署,所以必须挂载到docker目录中才能生效
    path => "/docker-elk/movies.csv"
    start_position => "beginning"
    sincedb_path => "/dev/null"
  }
}
filter {
   
  csv {
   
    separator => &
Docker-compose 部署 ELK(Elasticsearch、Logstash、Kibana)的步骤如下: 1. 创建一个目录,例如 elk,用于存放 docker-compose.yml 文件和其他配置文件。 2. 在 elk 目录下创建一个 docker-compose.yml 文件,内容如下: ``` version: '3' services: elasticsearch: image: docker.elastic.co/elasticsearch/elasticsearch:7.10.2 container_name: elasticsearch environment: - discovery.type=single-node ports: - "920:920" - "930:930" volumes: - ./elasticsearch/data:/usr/share/elasticsearch/data networks: - elk logstash: image: docker.elastic.co/logstash/logstash:7.10.2 container_name: logstash volumes: - ./logstash/config:/usr/share/logstash/pipeline/ environment: - ELASTICSEARCH_HOSTS=http://elasticsearch:920 ports: - "500:500" - "960:960" networks: - elk kibana: image: docker.elastic.co/kibana/kibana:7.10.2 container_name: kibana environment: - ELASTICSEARCH_HOSTS=http://elasticsearch:920 ports: - "5601:5601" networks: - elk networks: elk: driver: bridge ``` 3. 在 elk 目录下创建一个 elasticsearch 目录,用于存放 Elasticsearch 的数据。 4. 在 elk 目录下创建一个 logstash 目录,用于存放 Logstash 的配置文件。 5. 在 logstash 目录下创建一个 logstash.conf 文件,用于配置 Logstash 的输入、过滤和输出,例如: ``` input { tcp { port => 500 codec => json } } filter { # 过滤器配置 } output { elasticsearch { hosts => ["http://elasticsearch:920"] index => "logstash-%{+YYYY.MM.dd}" } } ``` 6. 在 elk 目录下运行以下命令启动 ELK: ``` docker-compose up -d ``` 7. 访问 http://localhost:5601 即可打开 Kibana 界面,开始使用 ELK。 注意:在生产环境中,应该根据实际需求对 ELK 进行配置和优化,例如设置 Elasticsearch 的内存和磁盘限制、配置 Logstash 的过滤器和输出、使用安全证书等。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值