很多时候都是事件触发,才不得不去学习某些东西,做爬虫发现es里面长时间没有数据,就觉得奇怪,不过还好mysql中有备份数据,mysql中存在,而es中却没有,问题出在哪里呢,没有头绪。
看看es中的timelion数据量为0.
再检查
1 x-pack
安装插件./kibana-plugin install x-pack
,安装过后plugins目录下就有文件了。
安装elasticsearch的x-pack,需要对应elasticsearch的版本,网速快的可以通过./elasticsearch-plugin install x-pack
,网速不好的可以下班zip文件下载下来
wget 'https://artifacts.elastic.co/downloads/packs/x-pack/x-pack-5.6.6.zip'
如果linux环境下载不下来,那么直接在windows中下载后,上传也可以
然后执行命令
# file://协议之后,您必须指定zip文件的绝对路径。
./elasticsearch-plugin install file:///application/x-pack-5.6.6.zip
最后重启elasticsearch即可
注意elasticsearch和kibana的x-pack都需要安装,否则kibana会出错。
安装成功后,kibana登录就需要账号、密码,默认的为
用户名:elastic
密码:changeme
安装x-pack之后,就可以看到各个es节点的cpu、内存、磁盘使用情况了。
直接安装x-pack,只有一个月的试用期,故此需要破解一下
创建文件LicenseVerifier.java
package org.elasticsearch.license;
import java.nio.*;
import java.util.*;
import java.security.*;
import org.elasticsearch.common.xcontent.*;
import org.apache.lucene.util.*;
import org.elasticsearch.common.io.*;
import java.io.*;
public class LicenseVerifier
{
public static boolean verifyLicense(final License license, final byte[] encryptedPublicKeyData) {
return true;
}
public static boolean verifyLicense(final License license) {
return true;
}
}
接着执行,编译文件
javac -cp "/usr/hadoop/application/elasticsearch/lib/elasticsearch-5.6.6.jar:/usr/hadoop/application/elasticsearch/lib/lucene-core-6.6.1.jar:/usr/hadoop/application/elasticsearch/plugins/x-pack/x-pack-5.6.6.jar" LicenseVerifier.java
编译好后,替换对应的文件
cd /usr/hadoop/application/elasticsearch/plugins/x-pack/
mkdir test
mv x-pack-5.6.6.jar test/
cd test
jar xvf x-pack-5.6.6.jar
#替换
cd org/elasticsearch/license
rm -f LicenseVerifier.class
cp /usr/hadoop/application/license/LicenseVerifier.class .
#打包
cd /usr/hadoop/application/elasticsearch/plugins/x-pack/test
jar cvf x-pack-5.6.6.jar .
mv x-pack-5.6.6.jar ../
#删除临时文件
cd /usr/hadoop/application/elasticsearch/plugins/x-pack/
rm -fr test
替换其他节点,重启es集群,并下载license文件
修改license文件
{"license":{"uid":"d3cbbbee-9155-4e1a-a5ed-a7e8940d6564","type":"platinum","issue_date_in_millis":1499299200000,"expiry_date_in_millis":15698015999990,"max_nodes":1000,"issued_to":"guo dalu (eastmoney)","issuer":"Web Form","signature":"AAAAAwAAAA0C9L3AjL50eKgiW55YAAABmC9ZN0hjZDBGYnVyRXpCOW5Bb3FjZDAxOWpSbTVoMVZwUzRxVk1PSmkxaktJRVl5MUYvUWh3bHZVUTllbXNPbzBUemtnbWpBbmlWRmRZb25KNFlBR2x0TXc2K2p1Y1VtMG1UQU9TRGZVSGRwaEJGUjE3bXd3LzRqZ05iLzRteWFNekdxRGpIYlFwYkJiNUs0U1hTVlJKNVlXekMrSlVUdFIvV0FNeWdOYnlESDc3MWhlY3hSQmdKSjJ2ZTcvYlBFOHhPQlV3ZHdDQ0tHcG5uOElCaDJ4K1hob29xSG85N0kvTWV3THhlQk9NL01VMFRjNDZpZEVXeUtUMXIyMlIveFpJUkk2WUdveEZaME9XWitGUi9WNTZVQW1FMG1DenhZU0ZmeXlZakVEMjZFT2NvOWxpZGlqVmlHNC8rWVVUYzMwRGVySHpIdURzKzFiRDl4TmM1TUp2VTBOUlJZUlAyV0ZVL2kvVk10L0NsbXNFYVZwT3NSU082dFNNa2prQ0ZsclZ4NTltbU1CVE5lR09Bck93V2J1Y3c9PQAAAQB2gL4WXN64P0+c5q6TDyhqPllFvkboZMWjzJHid05qCtI86/I0aSsFgYF3AkVA1qoz7UHsjC/xBsoyhuXfmHn6LbsZYXweZ4LsllG8RJ8HH/bBYVTBt+Mag+wXE/QZUS7HnSA8iAReQ7tY//wyuEVrxFDeAI9cgwWN90RoZ3sAgkzGq0jVr2JoUYeYwNJ4GZ2GMDS7GsHBxNWBJVgfDkZXvLya/jOJhaKi2GvW8mIzFp19/FO+t2+ReUkbF3T35nVIZnqFDVhXtOz981By4ArffE8ythlI4X67Nabtzoy87V5gXanBvsSdHiHpYJMrYwn7DU+93Ie6t56Lesjkj//b","start_date_in_millis":1499299200000}}
platinum表示白金版,可以使用所有功能。其他的如expiry_date_in_millis、max_nodes等根据自己需要修改即可。
#查看license
curl -XGET -u elastic:123456 http://192.168.5.185:9200/_xpack/license
#注册新license
curl -XPUT -u elastic:123456 http://192.168.5.185:9200/_xpack/license?acknowledge=true -H "Content-Type: application/json" -d @license.json
#成功消息
{"acknowledged":true,"license_status":"valid"}
安装完x-pack,链接elasticsearch都需要加上密码
es = Elasticsearch(['192.168.5.184'], http_auth=('elastic', 'changeme'), sniff_on_start=True, sniff_on_connection_fail=True, max_retries=3, retry_on_timeout=True)
2 设置角色
生产环境,我们不能使用superuser来操作,要是有人误删,那就惨了。于是可以在Management
中添加角色,设置响应的权限,不让有删除的操作,即可。
2 kibana安装
kibana下载文件
单节点的配置非常简单,在$KIBANA_HOME/config/kibana.yml
,kibana参数说明
server.host: "10.101.10.85"
elasticsearch.url: "http://10.101.10.55:9200/"
启动kibana也较为简单
./bin/kibana