Elasticsearch5.6.0安装

Elasticsearch5.6.0安装记录

使用Elasticsearch所需环境

1. java1.8，Elasticsearch依赖java，5.6版本必须是对应java1.8
2. Elasticsearch5.6.0，全文检索平台，可能海量数据进行全文检索
3. analysis-ik，中文分词，这个不是必须是，因为elk5.6可以直接支持中文，不过只能对中文进行单字分词，这并不是我们想要的，所以需要使用analysis-ik中文分词插件来做更合理的中文分词
4. head，Elasticsearch的节点管理插件，可方便的管理集群节点，和集群状态。这个也不是必需的，如果不需要图形化的节点管理，可以不安装。
   注意：新的head已经是一个独立的程序，不再以Elasticsearch的插件形式提供
5. node.js/npm，因为head是以js开发的，安装与运行head都需要js环境，目前首选node.js
6. kibana5.6，kibana是一套基于分布式搜索elasticsearch的分析和可视化数据平台
7. bigdesk，用于监视ELK集群节点机器性能
8. 注意：这些操作全部在CentOS7 64位成功，为了方便安装与环境配置，请下载rpm安装包

配置sudo

• 注意：因为elasticsearch-5.X后不可以在root用户下运行，所以需要创建独立账号，在创建的账号中运行命令时，往往需要提权，在使用sudo提权时会出现用户不存在等错误。这种错误往往是因为sudo的配置中没配置此用户的权限
• 在配置文件/etc/sudoers中增加权限配置，如：root ALL=(ALL) ALL
  可以在root配置后面增加一个其它用户权限配置，如：hhit ALL=(ALL) ALL

安装java1.8

1. 官网下载安装包，注意不同系统会有不同安装包，下载对应系统，CentOS7 64下载64位rmp包
2. 安装命令：sudo rpm -ivh jre-8u144-linux-x64.rpm，不建议编译安装
3. 环境配置：如果使用rpm来安装是不需要配置额外环境，如果是编译安装，就需要配置系统环境，见http://www.cnblogs.com/samcn/archive/2011/03/16/1986248.html

安装elasticsearch-5.6

1. 官网下载安装包，注意不同系统会有不同安装包，下载对应系统，CentOS7 64下载64位rmp包
2. 安装命令：sudo rpm -ivh elasticsearch-5.6.0.rpm
   成功安装后，会自动创建一个elasticsearch账号和elasticsearch服务，我们只需要使用root来控制elasticsearch服务即可，服务会使用elasticsearch账号来启动
3. 启动elasticsearch：因为安装时已经带有一服务，所以可直接使用服务启动，命令如：
   systemctl start elasticsearch
4. 注意： 5.6版本是不可以在root用户下运行的，必须要建立一个独立账号才能运行，然后还会有一些用户权限问题，所以这里不建立编译安装，使用rpm包来安装
5. 注意： 我们在建立elk集群时，往往会安装好一台机器然后批量复制，这样的集群搭建是很快的，但在修改了新复制节点的配置与网络后，还需要将elk的数据与日志目录删除重新建立，因为如果不重新建立数据目录，会残留之前的旧数据块文件，elk在同步数据时会检查数据块文件的ID，ID相同会导致报错

配置elasticsearch-5.6环境

1. 数据目录与日志目录配置：当elk安装成功后，不建议将数据与日志存放在默认路径，一般会新建一个路径或新磁盘来存放数据与日志。
   需要注意：新建立的数据与日志存放目录需要给elasticsearch的读写权限，最好将目录所属用户也变更为elasticsearch
   假设建立一个/gzhhit/hhdata目录来存放数据，/gzhhit/hhlogs来存放日志，需要将gzhhit，hhdata，hhlogs的所属用户变更为elasticsearch，命令如：
   chown root:elasticsearch /gzhhit 指定gzhhit所属root组的elasticsearch帐号
   chown root:elasticsearch /gzhhit/hhdata
   chown root:elasticsearch /gzhhit/hhlogs
   同时也需要给目录赋可读写权限，命令如：
   chmod 775 /gzhhit
   chmod 775 /gzhhit/hhdata
   chmod 775 /gzhhit/hhlogs
2. 防火墙配置：elasticsearch的使用需要开放9200与9300
   防火墙开放命令：
   firewall-cmd –permanent –zone=public –add-port=9200/tcp
   firewall-cmd –permanent –zone=public –add-port=9300/tcp
   配置完成后需要重启防火墙，命令如：
   systemctl restart firewalld
3. 业务配置：使用elasticsearch前还需要为业务配置一些属性
   3.1. cluster.name: TEST 表示集群名称，同一集群的节点会协同来保存与检索数据
   3.2. node.name: test1 表示节点名称
   3.3. node.master: true 表示此节点的管理角色，master表示此节点是否可以成为主节点，一般默认为true
   3.4. node.data: true 表示此节点的数据角色，data表示此节点是否用于保存数据，一般默认为true
   3.5. path.data: /gzhhit/hhdata 表示此节点的数据保存目录
   3.6. path.logs: /gzhhit/hhlogs 表示此节点的日志保存目录
   3.7. network.host: 0.0.0.0 表示此节点接口监听的地址，最后监听在0.0.0.0，所以其它节点就都可以访问他
   3.8. discovery.zen.ping.unicast.hosts: [“172.16.10.10:9300”] 表示集群用于主节点的发现地址，这里需要注意的是，配置的IP不只是单纯的节点发现，而是用于主节点的发现
   3.9. discovery.zen.minimum_master_nodes: 1 表示最少要有多少个主节点再能启动，默认是3个，当集群不大时，只需要配置一个就好
   3.10 注意： 如果使用的是rpm安装方式，elasticsearch的配置不会在elasticsearch的安装目录下，会在/etc/elasticsearch中

安装analysis-ik分词

1. 在线安装：elasticsearch提供了一个工具来安装插件elasticsearch-plugin，所以可以直接使用工具安装，命令如：
   sudo /usr/share/elasticsearch/bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v5.6.0/elasticsearch-analysis-ik-5.6.0.zip
2. 本地安装：因为网络的原因，在线安装analysis-ik会非常慢，也会经常中断，所以通过迅雷下载后本地安装会更快
   2.1. 使用迅雷下载https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v5.6.0/elasticsearch-analysis-ik-5.6.0.zip
   2.2. 解压文件
   2.3. 在elasticsearch的plugins目录下创建analysis-ik目录，然后将解压包中的.jar文件与.properties文件复制到analysis-ik目录下
   2.4. 在elasticsearch的配置目录下创建analysis-ik目录，然后将解压包中的config/下的配置文件复制到analysis-ik目录下
   2.5. jar包与配置文件都复制好后，analysis-ik就安装好了，analysis-ik的分词自定义等配置见官方文档，一般不需要再配置

安装head

1. head不需要安装在elasticsearch的plugins目录下，可以作为一个独立的程序安装，可直接安装在/opt目录下
2. head是js开发的，需要js运行环境，首选node.js
3. 安装流程：
   git clone git://github.com/mobz/elasticsearch-head.git
   cd elasticsearch-head
   npm install
4. 注意： 安装会很慢，这主要看网络环境与npm源，这里可以提供一个国内源：
   npm国内中科大源
   设置源：npm config set registry http://npmreg.mirrors.ustc.edu.cn/
   检查源信息：npm info underscore，如果可以显示信息就说明此源可用
5. 启动head：npm run start

配置head

1. 修改head连接elasticsearch主节点的地址，需要修改js代码，这个设计就有点无语了
   修改elasticsearch-head/_site/app.js下的4353行的http://localhost:9200，将localhost修改为elasticsearch主节点的IP
2. 还需要在elasticsearch配置文件中增加两行配置：
   http.cors.enabled: true
   http.cors.allow-origin: “*”
3. 防火墙配置：head的使用需要开放9100
   防火墙开放命令：
   firewall-cmd –permanent –zone=public –add-port=9100/tcp
   配置完成后需要重启防火墙，命令如：
   systemctl restart firewalld
4. 注意： 在安装成功后，还需要做一些配置才可以使用head

安装nodejs与npm

1. 下载nodejs安装包，官网下载https://nodejs.org/en/，左边是稳定版右边是最新版
2. 解压安装包，一般解压到/opt目录下即可
3. 为node与npm建立执行的软链接，命令如下：
   sudo ln -s /opt/node-v0.12.10-linux-x86/bin/node /usr/bin/node
   sudo ln -s /opt/node-v0.12.10-linux-x86/bin/npm /usr/bin/npm
4. 验证是否可使用：使用node -v，npm -v验证是否成功

安装kibana5.6

1. 下载安装包：kibana-5.6.2-x86_64.rpm安装包https://www.elastic.co/downloads/kibana
2. 安装kibana5.6：rpm -ivh kibana-5.6.2-x86_64.rpm
3. 启动kibana5.6：systemctl start kibana
4. 注意： 安装的版本要与elasticsearch的版本相匹配，5.X对应elasticsearch5.X

配置kibana5.6

1. kibana配置文件：/etc/kibana/kibana.yml
2. 配置kibana属性
   2.1. server.host: “0.0.0.0” 服务监听的地址
   2.2. elasticsearch.url: “http://172.16.10.10:9200” 修改elasticsearch集群地址，访问的是主节点IP
   2.3. kibana.index: “hhdata_kibana” kibana在elasticsearch集群的索引名称

安装bigdesk插件

1. 下载：git clone https://github.com/hlstudio/bigdesk，也可以其它下载，解压就可以使用，建议安装在opt目录
2. 修改配置：将_site/index.html文件中的http://localhost:9200修改为具体ELK主节点IP，如http://172.16.10.10:9200
3. 运行此插件需要使用WEB服务，这里直接使用python自带的简单web服务，命令如：python -m SimpleHTTPServer
   默认监视0.0.0.0:8000，需要开放8000的防火墙访问权限，然后访问http://IP:8000/_site即可
4. 这是一个用于监视ELK集群节点性能的插件，比较实用，官网没有更新，最新版本在github：https://github.com/hlstudio/bigdesk。安装方式非常简单，不过它已经不能作为5.X的插件安装了，需要独立安装，还需要自己搭建WEB服务

其它附加配置：静态IP配置

1. 静态IP配置文件：/etc/sysconfig/network-scripts/ifcfg-eth0，ifcfg-eth0是网卡名称，不同机器名称不同
2. 静态IP配置：
   BOOTPROTO=static dhcp改为static
   ONBOOT=yes 开机启用本配置
   IPADDR=192.168.7.106 静态IP
   GATEWAY=192.168.7.1 默认网关
   NETMASK=255.255.255.0 子网掩码
   DNS1=192.168.7.1 DNS 配置
   DNS2=192.168.7.1 DNS 配置

其它附加配置：新磁盘

1. 往往我们会给elk配置一个新的磁盘来保存数据与日志，这就需要格式化新磁盘，这里只做简单说明
2. 分区和格式化磁盘，这里只列出主要命令，具体见：http://blog.chinaunix.net/uid-25829053-id-3067619.html
   fdisk -l 查看当前磁盘信息
   fdisk /dev/sdb 进行分区
   mkfs -t ext4 -c /dev/sdb1 格式化分区
3. 开机自动挂载磁盘，配置文件/etc/fstab，这里不做详细说明，详细见：http://blog.csdn.net/runboying/article/details/7171078
   /dev/sdb1 /gzhhit ext4 defaults 1 1
4. 需要注意： 当我们为elk建立好目录后，再为目录挂载新磁盘并重启后，之前建立的目录可能会被重新建立，需要再创建一遍elk数据目录与权限