elasticsearch快速开始——centos下elasticsearch和kibana安装与配置

1.Elasticsearch介绍

Elasticsearch是一个基于Lucene库的搜索引擎。它可以近乎实时的存储、检索数 据。本身扩展性很好，可扩展到上百台服务器，处理PB级别的数据。Elasticsearch使用Java开发并通过简单的RestfulAPII来隐藏Lucene的复杂性， 从而让全文搜索变得简单。

1.1 Elasticsearch使用场景

• 搜索

  电商网站、新闻资讯类和各种app内的搜索等

• 日志分析类场景

经典的ELK组合（Elasticsearch/Logstash/Kibana），可以完成日志收集，日志存储，日志分析查 询界面基本功能，目前在日志分析方面ELK很流行。

• 数据预警平台

  例如电商价格预警，在支持的电商平台设置价格预警，当优惠的价格低于某个值时，触发通知消 息，通知用户购买。

• 数据分析

  数据分析常见的比如分析电商平台销售量top 10的品牌，分析博客系统、头条网站top 10关注度、 评论数、访问量的内容等等。

• 商业BI(Business Intelligence)系统

  比如大型零售超市，需要分析上一季度用户消费金额，年龄段，每天各时间段到店人数分布等信 息，输出相应的报表数据，并预测下一季度的热卖商品，根据年龄段定向推荐适宜产品。 Elasticsearch执行数据分析和挖掘，Kibana做数据可视化。

2. Elasticsearch单节点安装

安装环境为：centos7.x ，Elastic7.16.2，JDK1.8

• 1-安装JDK

  Elasticsearch使用Java开发，所以必须要安装Java环境。安装过程不再赘述。

• 2-下载

  下载地址：https://www.elastic.co/cn/downloads/elasticsearch

• 解压安装包

  把下载的Elasticsearch安装包，上传到服务器/usr/elasticsearch/

  tar -zxvf elasticsearch-7.16.2-linux-x86_64.tar.gz
  

• 3-修改Elasticsearch配置

  进入到Elasticsearch下的config目录，修改elasticsearch.yml 文件

  vim elasticsearch.yml 
  

  修改配置为：

  # 节点名称
  node.name: node-1
  
  # 默认为localhost ，只能本地访问。 0.0.0.0 允许任意远程客户端访问
  network.host: 0.0.0.0
    
  #默认端口号为9200
  http.port: 9200
    
  # 指定单节点启动
  cluster.initial_master_nodes: ["node-1"]
  

• 4-添加Elasticsearch用户

  Elasticsearch默认不能用root用户启动，需要为其添加一个用户

  useradd es
  
  # 修改密码
  passwd es
  

  改变es目录拥有者账号

  chown -R es /usr/elasticsearch/
  

  设置访问权限

  chmod -R 777 /usr/elasticsearch/
  

• 5-系统相关参数修改

  修改/etc/sysctl.conf

  vim /etc/sysctl.conf
  

  末尾添加：vm.max_map_count=655360

  执行sysctl -p 让其生效

  sysctl -p
  

  修改/etc/security/limits.conf

  vim /etc/security/limits.conf
  

  末尾添加：

  * soft nofile 65536
  * hard nofile 65536
  * soft nproc 4096
  * hard nproc 4096
  

• 6-启动Elasticsearch

  切换到es用户

  su es
  

  启动Elasticsearch。进入到Elasticsearch的bin目录

  ./elasticsearch
  

  默认情况下，Elastic在前台运行，关闭终端后，会停止运行，通过添加参数 -d可以后台启动

  # 后台启动
  ./elasticsearch -d 
  

  Elastic的启动参数，可以通过./elasticsearch -h 命令查看
  

启动完成，浏览器访问：IP:9200

3. Kibana安装

3.1 Kibana介绍

Kibana 是一款开源的数据分析和可视化平台，它是 Elastic Stack 成员之一，设计用于和 Elasticsearch 协作。您可以使用 Kibana 对 Elasticsearch 索引中的数据进行搜索、查看、交互操作。您可以很方便的利用图表、表格及地图对数据进行多元化的分析和呈现。

Kibana 可以使大数据通俗易懂。它很简单，基于浏览器的界面便于您快速创建和分享动态数据仪表板来追踪 Elasticsearch 的实时数据变化。

3.2 安装

• 1-下载Kibana

  下载地址：https://www.elastic.co/cn/downloads/kibana

• 解压安装包

  把下载的Kibana安装包，上传到服务器/usr/kibana/目录

  tar -zxvf kibana-7.16.2-linux-x86_64.tar.gz
  

• 4-修改目录权限

  kibana默认不能用root用户启动，用户刚才创建的es用户启动。

  改变es目录拥有者账号

  chown -R es /usr/kibana/
  

  设置访问权限

  chmod -R 777 /usr/kibana/
  

• 5-修改配置文件

   vim config/kibana.yml
  

  修改如下内容

  #默认端口号为5601
  server.port: 5601
  
  # 默认为localhost ，只能本地访问。 0.0.0.0 允许任意远程客户端访问
  server.host: "0.0.0.0"
  
  # Elasticsearch 地址
  elasticsearch.hosts: ["http://192.168.235.131:9200"]
  

• 6-启动Kibana

  首先切换到es用户，默认Kibana不能用root用户启动：

  su es
  

  进入到Kibana的bin目录

  ./Kibana
  

• 7- 后台启动的方式

  Kibana默认为前台启动，关闭终端或者Ctrl-C 停止，后台启动可以通过如下方式：

  使用nohup 命令

  nohup /usr/kibana/bin/kibana &
  

启动完成，浏览器访问：IP:5601

4.Elasticsearch核心概念

1. 索引(index)

   类似的数据放在一个索引，非类似的数据放不同索引， 一个索引也可以理解成一个关系型数据 库。

2. 类型(type)

   代表document属于index中的哪个类别（type）也有一种说法一种type就像是数据库的表， 比如order表，user表。

   注意ES每个大版本之间区别很大：
   ES 5.x中一个index可以有多种type。

   ES 6.x中一个index只能有一种type。

   ES 7.x以后 要逐渐移除type这个概念。

3. 映射(mapping)

   mapping定义了每个字段的类型等信息。相当于关系型数据库中的表结构。

   常用数据类型：text、keyword、number、array、range、boolean、date、geo_point、ip、 nested、object

   详细可以参考官网文档：[Field data types | Elasticsearch Guide 7.16] | Elastic

5. Elasticsearch中文分词器

比较常用的中文分词器是IK Analysis for Elasticsearch，安装使用方式比较简单，具体可以查看官方文档：

https://github.com/medcl/elasticsearch-analysis-ik