【小白历险记】ELK日志系统安装部署指南

环境准备：

• 创建用户用户组

   groupadd elasticsearch
   adduser -g elasticsearch elasticsearch
   passwd elasticsearch
  

安装JAVA

• 当前系统CentOS 7自带jdk，敲入java -version，显示：

  java version 1.7.0_91 
  OpenJDK Runtime Environment 
  OpenJDK 64-Bit Server VM

• 安装Oracle公司的JDK８

  rpm -ivh jdk-8u65-linux-x64.rpm

• 用alternatives管理当前java版本

  alternatives –install /usr/bin/java java /usr/java/default/bin/java 400

  alternatives –install /usr/bin/javac javac /usr/java/default/bin/javac 400

• 通过下面的命令可以选择对应的JAVA版本

  alternatives –config java

• 写入环境变量，敲入vi /etc/profile，在最后一行加入

  JAVA_HOME=/usr/java/default
  PATH=$JAVA_HOME/bin:$PATH
  CLASSPATH=$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/tools.jar
  JAVA_HOME=/usr/java/default
  export PATH JAVA_HOME CLASSPATH

  source /etc/profile
  

Elasticsearch安装 【端口号9200 9300】

download elasticsearch-5.0.0.tar.gz
tar -zvxf elasticsearch-5.0.0.tar.gz
cd elasticsearch-5.0.0
./bin/elasticsearch(测试安装是否成功)

备注：

• 需要修改max file descriptors

  登录root账户然后执行ulimit -n 65536；

• 如果需要永久增加file descriptor

  vi /etc/sysctl.conf
  增加 fs.file-max = 65536
  重启或者执行 sysctl -p
  vi /etc/security/limits.conf
  通过ulimit -n来校验file descriptor

• 需要修改vm.max_map_count

  sysctl -w vm.max_map_count =262144(vm.max_map_count=262144直接写到/etc/sysctl.conf中,然后执行sysctl -p)

• 由于启动elasticsearch为了安全起见不能使用root账户，所以建议将elasticsearch安装到对应elasticsearch的用户所属的目录下，并更改目录归属该用户后，使用该用户启动elasticsearch

• 后台启动es的方式为bin/elasticsearch -d

• 关闭重启的方式为kill -9 进程号

X-Pack安装

cd elasticsearch-5.0.0
bin/elasticsearch-plugin install x-pack
确认y安装
bin/kibana-plugin install x-pack
确认y安装

备注：

• 安装了X-Pack后会自动设置elasticsearch和kibana初始认证：
  
  • 用户名elastic 密码changeme
  • 可以通过调用api修改

Kibana安装 【端口5601】

download kibana-5.0.0.tar.gz
tar -zvxf kibana-5.0.0.tar.gz
cd kibana-5.0.0
bin/kibana

Logstash安装

download logstash-5.0.0.tar.gz
tar -zvxf logstatsh-5.0.0.tar.gz
./bin/logstash-plugin install logstash-input-beats

备注：

• 如果安装失败，则使用离线安装方式：先从本地拷贝到目标环境中
  
  • ./bin/logstash-plugin install ./vendor/bundle/jruby/1.9/cache/logstash-filter-multiline-3.0.2.gem
• 启动logstash：
  
  • bin/logstash -f logstash.conf

Beats安装

download filebeat-5.0.2.rpm
rpm -ivh filebeat-5.0.2.rpm

• 配置：/etc/filebeat/filebeat.yml
• 启动：sudo /etc/init.d/filebeat start

后台服务supervisor安装 【端口号9001】

• Centos 7 安装步骤

1.yum -y install supervisor
2.echo_supervisord_conf > supervisord.conf
3.cp supervisord.conf /etc/supervisord.conf
4.mkdir /etc/supervisord.conf
5.vi /etc/supervisord.conf
6.添加以下配置 [include] files = /etc/supervisord.d/*.conf
7.vi /etc/init.d/supervisord
8.参考http://youerning.blog.51cto.com/10513771/1714627
将脚本添加进 /etc/init.d/supervisord中
9.chmod +x /etc/init.d/supervisord
10.chkconfig –add supervisord
11.chkconfig supervisord on
12.service supervisord start

• Centos 6 安装步骤

  • 1.下载setuptools:

  wget http://pypi.python.org/packages/2.6/s/setuptools/setuptools-0.6c11-py2.6.egg#md5=bfa92100bd772d5a213eedd356d64086

  • 2.安装setuptools

  sh setuptools-0.6c11-py2.6.egg

  • 3.下载并安装supervisor

  wget http://pypi.python.org/packages/source/s/supervisor/supervisor-3.0b1.tar.gz
  tar -zxvf supervisor-3.0b1.tar.gz
  cd supervisor-3.0b1
  python setup.py install

问题汇总：

• es启动失败，出现Cannot allocate memory

  • 解决方案：vim config/jvm.options
  • 修改-Xms2g 和-Xmx2g 变为-Xms512m 和-Xmx512m