利用Elasticsearch构建流量分析平台（一）

elasticsearch在centos下的安装

centos 安装elasticsearch

1. 准备工作

   • • [ ] 非root用户登陆系统
     • [ ] 安装JDK 1.8环境
     • [ ] 下载elasticsearch安装包 （RPM或者tar.gz格式）

2. 开始安装

   • centos 7 离线安装JDK 1.8

     • 检查是否安装了open-jdk

       java -vesrsion
       复制代码

       如果出现信息，则不需要安装

     • 开始安装oracle版本的jdk

       在oracle官网上下载jdk的tar.gz包，然后命令如下

       # 在包所在的目录，解压包
       tar -xvf jdk..tar.gz
       # 讲java的命令链接到系统命令中
       sudo vi /etc/profile
       # 进入到profile文件中（vim操作： 按G，而后按a），追加下列内容
       export JAVA_HOME = ~/jdk..
       export PATH=$PATH:$JAVA_HOME/bin 
       复制代码

     • 下载并安装elasticsearch

       出现的问题1： ** is no in the sudoers file 。解决如下：

       # 更改sudoers，讲当前用户加入到sudo组中
       su root
       # sudoers文件增加写入权限
       chmod u+w /etc/sudoers
       # 更改sudoers文件内容# 在 root  ALL=(ALL)  ALL下面增加一行 用户名 ALL=(ALL) ALL
       # 如果使用vim就按照下列按键按(<br>代表回车键)
       vi /etc/sudoers
       ?root <br> n  yy p cw john ESC :wq
       复制代码

       安装elasticsearch

       sudo rpm --install elasticsearch-6.3.2.rpm
       复制代码

       运行

       sudo -i service elastisearch start
       复制代码

       测试

       curl http://localhost:9200 # 如果出现 {} 则表示正常
       复制代码

3. elasticsearch基本配置解释

   所有配置文件都在*/etc/elasticsearch* 中，其中各个文件的作用如下：

   jvm.options: java虚拟机配置文件，包括调整程序运行时占用内存等

   elasticsearch.yml: elasticsearch自身的配置文件。对外暴露的ip、端口等设置

   log4j2.properties: 日志配置文件。控制日志输出等

   role_mapping.yml:

   roles.yml:

   users

   users_roles

   修改elasticsearch配置文件，设置对外访问ip

   在 elasticsearch.yml 文件中，（第55行）设置 network.host=0.0.0.0 注意行前不要有空格

Centos下安装kibana

1. 如果下载的rpm包:

    sudo rpm --install kibana-6.3.2-x86_64.rpm
    sudo -i service kibana start
    # kibana start 
   复制代码

2. tar.gz包解压之后，直接运行bin/kibana即可。

   一般而言。es安装成功后，这个步骤不会报错。如果报错，可能是用户当前是root用户需要切换到普通用户下，此外，kibana目录需要用户权限。建议所有操作都在普通用户下进行。

kibana的运行及配置

Centos下安装packetbeat

1. 准备工作

   • [ ] libcap安装

     centos 7默认安装了libcap， 如果安装系统时候选择的最小安装，下载 RPM包[^1] ，并执行rpm安装命令。

     note: 离线安装rpm包会出现依赖未安装的情况，建议在互联网上安装centos环境，下载完rpm包时建议输入 rpm -qR [package name] 命令来查看依赖情况。

   • [ ] packetbeat模板安装

     packetbeat setup --template -E output.logstash.enabled=false -E 'output.elasticsearch.hosts=["localhost:9200"]'
     复制代码

     note: 大部分教程中需要导入json数据作为模板，实际上6.0版本以后，packetbeat仅仅需要敲以上命令即可完成模板的导入。

   • [ ] 在kibana下安装packetbeat的监控界面

     # 这一步需要保证kibana处于启动状态
     packetbeat setup --dashboards
     复制代码

转载于:https://juejin.im/post/5b7e0784e51d453886067e42