elasticsearch集群安装部署、监控以及架设sql引擎

最新推荐文章于 2024-06-30 19:11:29 发布

Cumu_

最新推荐文章于 2024-06-30 19:11:29 发布

阅读量2.1k

点赞数 1

分类专栏： es 文章标签： elasticsearch es 集群 sql mavel

本文链接：https://blog.csdn.net/JThink_/article/details/51878738

版权

es 专栏收录该内容

8 篇文章 0 订阅

订阅专栏

官网下载es（时间点：2016-07-06，版本：2.3.3）
下载地址https://www.elastic.co/downloads
解压
配置文件修改
1. 配置文件在config下elasticsearch.yml，日志配置文件在config下logging.yml
  修改elasticsearch.yml（node.name需要每个节点不同），内容为：
  # 集群名称
  cluster.name: "taurus"
  # 节点名称
  node.name: "taurus01"
  # 节点标签
  node.tag: "es01"
  # 节点是否存储数据
  node.data: true
  # 索引分片数
  index.number_of_shards: 6
  # 索引副本数
  index.number_of_replicas: 1
  # 数据目录存放位置
  path.data: /home/xxx/xxx/es/data
  # 日志数据存放位置
  path.logs: /home/xxx/xxx/es/log
  # 去除内存swap，提高性能（该项设置可能无效，需要ulimit -l unlimited）
  bootstrap.mlockall: true
  # 索引缓存
  index.cache.field.max_size: 500000
  # 索引缓引过期时间
  index.cache.field.expire: 5m
  # 网络绑定
  network.host: 192.168.xx.xx,127.0.0.1
  # 其它节点和该节点交互的ip地址
  network.publish_host: 192.168.xx.xxx
  # 集群中可能称为master的节点, 放置脑裂出现
  discovery.zen.ping.unicast.hosts: ["192.168.xx.xxx","192.168.xx.xx","192.168.xx.xx"]
  
  PS：data和log的文件夹需要手动创建
2. 修改logging.yml，内容为：
  rootLogger: INFO, console, file
  logger:
  # log action execution errors for easier debugging
  action: DEBUG
  # reduce the logging for aws, too much is logged under the default INFO
  com.amazonaws: WARN
  
  # gateway
  #gateway: DEBUG
  #index.gateway: DEBUG
  
  # peer shard recovery
  #indices.recovery: DEBUG
  
  # discovery
  #discovery: TRACE
  
  index.search.slowlog: TRACE, index_search_slow_log_file
  
  additivity:
  index.search.slowlog: false
  
  appender:
  console:
  type: console
  layout:
  type: consolePattern
  conversionPattern: "[%d{ISO8601}][%-5p][%-25c] %m%n"
  
  file:
  type: dailyRollingFile
  file: ${path.logs}/${cluster.name}.log
  datePattern: "'.'yyyy-MM-dd"
  layout:
  type: pattern
  conversionPattern: "[%d{ISO8601}][%-5p][%-25c] %m%n"
  
  index_search_slow_log_file:
  type: dailyRollingFile
  file: ${path.logs}/${cluster.name}_index_search_slowlog.log
  datePattern: "'.'yyyy-MM-dd"
  layout:
  type: pattern
  conversionPattern: "[%d{ISO8601}][%-5p][%-25c] %m%n"
设置IK分词
1. 下载github上的es-ik分词插件
  git clone https://github.com/medcl/elasticsearch-analysis-ik.git
2. 插件配置
  cd elasticsearch-analysis-ik
  mvn clean package
  在ES_HOME下新建plugins/ik，并将打包生成的target/releases/elasticsearch-analysis-ik-1.9.3.zip拷贝至此处并解压以及删除原始zip文件
集群配置
将上述配置好的es文件夹拷贝至其他服务器，并修改相应的内容
集群启动
cd ES_HOME/bin
修改elasticsearch.in.sh，设置jvm相关参数
if [ "x$ES_MIN_MEM" = "x" ]; then
ES_MIN_MEM=20g
fi
if [ "x$ES_MAX_MEM" = "x" ]; then
ES_MAX_MEM=20g
fi
JAVA_OPTS="$JAVA_OPTS -Xmn2g"
JAVA_OPTS="$JAVA_OPTS -Xss256k"
启动，bin/elasticsearch -d（集群中每台机器都要启动）
安装监控（仅一个月免费，线上无需安装）
marvel，好像有个license，有过期时间，不免费？该版本变为agent，需要再安装kibana才能访问
1. 安装kibana
  下载，地址：https://www.elastic.co/downloads/kibana
```
bin/kibana plugin --install elasticsearch/marvel/2.3.3
```
  nobup bin/kibana &
2. 安装marvel
  当前版本作为了agent，所以每个节点都需要安装
  bin/plugin install license
  bin/plugin install marvel-agent
  访问http://192.168.xx.xx:5601/app/marvel

es架设sql引擎

./bin/plugin install https://github.com/NLPchina/elasticsearch-sql/releases/download/2.3.3.0/elasticsearch-sql-2.3.3.0.zip
查询：http://192.168.xx.xx:9200/_sql?sql=SELECT count(*) FROM xx WHERE xx = 'xx' AND xx = 'xx'
参考：https://github.com/NLPchina/elasticsearch-sql