ELK问题集锦

版本 elastic-7.8.0 要求jdk版本在11以上

1. JDK-11.0.5
2. node-v10.xx
3. D:\java\jdk8 改为了 C:\Program Files\Java\jdk-11.0.5

软件下载地址

1. http://elasticsearch.cn/download/
2. http://nodejs.cn/download/

elastic版本与kibana版本号一致 logstash版本一致 避免版本冲突

2.kibana安装前提需要安装jdk、node、elasticsearch

3.地图配置
kibana 6.x
tilemap.url:
Kibana 用来在 tile 地图可视化组件中展示地图服务的 URL。默认时，Kibana 从外部的元数据服务读取 url，用户也可以覆盖该参数，使用自己的 tile 地图服务。例如：“https://tiles.elastic.co/v2/default/{z}/{x}/{y}.png?elastic_tile_service_tos=agree&my_app_name=kibana”
tilemap.options.minZoom:
默认值: 1 最小缩放级别。
tilemap.options.maxZoom:
默认值: 10 最大缩放级别。
tilemap.options.attribution:
默认值: “© Elastic Tile Service” 地图属性字符串。
tilemap.options.subdomains:
服务使用的二级域名列表，用 {s} 指定二级域名的 URL 地址。
kibana 7.x
map.tilemap.url:
Kibana 用来在 tile 地图可视化组件中展示地图服务的 URL。默认时，Kibana 从外部的元数据服务读取 url，用户也可以覆盖该参数，使用自己的 tile 地图服务。例如：“https://tiles.elastic.co/v2/default/{z}/{x}/{y}.png?elastic_tile_service_tos=agree&my_app_name=kibana”
map.tilemap.options.minZoom:
默认值: 1 最小缩放级别。
map.tilemap.options.maxZoom:
默认值: 10 最大缩放级别。
map.tilemap.options.attribution:
默认值: “© Elastic Tile Service” 地图属性字符串。
map.tilemap.options.subdomains:
服务使用的二级域名列表，用 {s} 指定二级域名的 URL 地址

4.kibana的地图都是英文的，加载也慢。换成高德地图的api，使加载和观赏都更加直观 底图切换
修改kibana.yml
map.tilemap.url: “http://webrd02.is.autonavi.com/appmaptile?lang=zh_cn&size=1&scale=1&style=7&x={x}&y={y}&z={z}”
map.tilemap.options.minZoom: 1
map.tilemap.options.maxZoom: 18
重启kibana然后进web界面进行设置

5.elasticsearch-head是一个用于管理Elasticsearch的web前端插件
Running with built in server
git clone git://github.com/mobz/elasticsearch-head.git //这是一个前端项目，我们需要安装node环境 利用node安装grunt插件
cd elasticsearch-head
npm install //然后对项目进行初始化依赖
npm run start 或者 grunt server
open http://localhost:9100/
*注意切勿在elasticsearch-head/Gruntfile.js 中配置hostname 会导致elasticsearch启动失败

6.三者中数据存储和使用流程？

7.Kibana定义索引模式

• 1.在Kibana中，打开“Management管理”，然后单击“Index Patterns索引模式”。
  2.如果这是您的第一个索引模式，则会自动打开“Create index pattern创建索引模式”页面。 否则，单击左上角的“Create index pattern创建索引模式”。
  3.在索引模式Index pattern 字段中输入xxxx*。
  4.单击下一步Next step.。
  5.在配置设置Configure settings中，单击创建索引模式Create index pattern。 对于此模式，您无需配置任何设置。
  6.定义名为yyyy*的第二个索引模式您不需要为此模式配置任何设置。

8.filebeat 吸收log文件中内容 到logstash时的logstash接收配置 logstash-geo.conf如下
input {
beats {
port => 5044
}
}
filter {
mutate {
add_field => ["[geoip][location]", “%{rdc_lon}”]
add_field => ["[geoip][location]", “%{rdc_lat}”]
}
mutate {
convert => ["[geoip][location]", “float”]
}
}

output {
elasticsearch {
index => “logstash-geo_demo”
hosts => [“0.0.0.0:9200”]
}
}

示例(数据中的经纬度信息进行分析挖掘)如下
数据内容
[com.test.nlbs.filter.MsgDecodeFilter] - SoutheastMessage:#,1521302411,863010030035393,39.2055473,117.1409302,10,66.1,1,12,2,9,1070,14.4,65,0,0,0,0.0,0.0,
[com.test.nlbs.filter.MsgDecodeFilter] - SoutheastMessage:#,1521302412,863010030039387,38.9934654,116.9013672,36,178.3,1,12,2,36,2628,14.1,93,0,0,0,0.0,0.0,
[com.test.nlbs.filter.MsgDecodeFilter] - SoutheastMessage:#,1521302413,863010030043751,39.2268219,117.0283508,36,152.6,1,12,2,37,769,14.2,69,0,0,0,0.0,0.0,
[com.test.nlbs.filter.MsgDecodeFilter] - SoutheastMessage:#,1521302412,863010030031244,0,-1.0,0,0,2,27,1113,14.4,87,0,0,0,0.0,0.0,
[com.test.nlbs.filter.MsgDecodeFilter] - SoutheastMessage:#,1521302413,863010030031269,38.9425621,116.9591980,48,71.7,1,12,2,48,1519,14.8,83,0,0,0,0.0,0.0,
[com.test.nlbs.filter.MsgDecodeFilter] - SoutheastMessage:#,1521302414,863010030039387,38.9932823,116.9013748,35,178.6,1,12,2,35,2626,14.1,91,0,0,0,0.0,0.0,

对应logstash的conf文件内容
#Sample Logstash configuration for creating a simple
#Beats -> Logstash -> Elasticsearch pipeline.
input {
beats {
port => 5044
}
}

filter {
grok {
match => { “message” => “[com.test.nlbs.filter.MsgDecodeFilter] - \SoutheastMessage:(?(.\n){0,}.)” }
remove_field => [“message”]
add_field => {“head” =>“SoutheastMessage”}
}
csv {
source => “SoutheastMessa”
separator => “,”
columns => [ “#”,“time”, “imei”, “latitude”, “longitude” ]
remove_field => [“column6”,“column7”,“column8”,“column9”,“column10”,“column11”,“column12”,“column13”,“column14”,“column15”,“column16”,“column17”,“column18”,“column19”,“column20”]
add_field => ["[geoip][location]","%{longitude}"]
add_field => ["[geoip][location]","%{latitude}"]
}
mutate {
convert => ["[geoip][location]", “float”]
}
}

output {
elasticsearch {
hosts => [“http://localhost:9200”]
index => “logstash-geodemo”
}
}

9.Kibana加载样本数据
# 莎士比亚经典作品
wget https://download.elastic.co/demos/kibana/gettingstarted/shakespeare_6.0.json

# 一组虚拟生成的账户数据
wget https://download.elastic.co/demos/kibana/gettingstarted/accounts.zip

# 一组虚拟生成的日志数据
wget https://download.elastic.co/demos/kibana/gettingstarted/logs.jsonl.gz

10.制作各种图例时 一定要注意上面时间的选择范围 否则可能会没有任何数据返回 制作图例自然失败
11.制作地图的数据 地理坐标经纬度格式
{“lon”:-88.98547778,“lat”:36.38025} 或 {“lat”:36.38025,“lon”:-88.98547778}
不分经度在前还是纬度在前

12 重点问题教程参看 搜索相关博客

1. ES系列十八、FileBeat发送日志到logstash、ES、多个output过滤配置 - 小人物的奋斗 - 博客园
2. Kibana 官方示例_liujun_live_新浪博客
3. 使用Kibana或API导入数据到Elasticsearch_云搜索服务 CSS_用户指南_导入数据到Elasticsearch_华为云
4. 下载中心 - Elastic 中文社区