文章目录
Elasticsearch
由于是初次安装和使用es,对es的运行环境和安装过程不了解,做了很多无用的事。
比如我安装的是es7.15,这个版本的es不需要要安装java环境,因为他自带java JDK。
下面是具体的安装步骤
第一步 下载并解压文件
我们在官网下载好tar.gz文件后,把文件解压到/usr/local目录后,修改es目录为自己想要的名字,我把解压后的目录修改为elasticsearch-7.15
第二步 修改配置文件
打开配置文件后,按如下配置
# ---------------------------------- Cluster -----------------------------------
cluster.name: my-application
# ------------------------------------ Node ------------------------------------
node.name: node-1
# ----------------------------------- Paths ------------------------------------
path.data: /usr/local/elasticsearch-7.15/data
path.logs: /usr/local/elasticsearch-7.15/logs
# ---------------------------------- Network -----------------------------------
network.host: 0.0.0.0
http.port: 9200
#
# For more information, consult the network module documentation.
#
http.cors.allow-origin: "*"
http.cors.enabled: true
http.cors.allow-headers : X-Requested-With,X-Auth-Token,Content-Type,Content-Length,Authorization
http.cors.allow-credentials: true
# --------------------------------- Discovery ----------------------------------
discovery.seed_hosts: ["127.0.0.1", "[::1]"]
cluster.initial_master_nodes: ["node-1"]
以上配置为单机配置,需要集群配置的话,需要修改相关条件,以后再议
第三步 安装前用户和环境设置
1、修改虚拟内存区域数量
默认情况下,vm.max_map_count=65530
此时运行es,会报错,如下
max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
在root账户下,执行
sudo vim /etc/sysctl.conf
在文件末尾添加如下配置,直接把虚拟内存虚拟数量提高10倍
vm.max_map_count=655360
保存后退出,查看配置是否生效,执行
sudo sysctl -p
生效的话,可以看到我们刚添加的配置
2、新建es用户
es需要在非root账户下运行,在root用户下报如下错误
could not find java in bundled jdk at /usr/local/elasticsearch-7.15/jdk/bin/java
我们需要新建es用户,并把es文件的目录授权给es用户,依次执行如下命令
1、新建用户:sudo adduser es
2、设置es用于密码:sudo passwd es
3、把es的文件目录授权给es用户:sudo chown -R es:es /usr/local/elasticsearch-7.15
3、设置es用户的环境变量
切换到es用户
su es
通过修改.bashrc文件:root用户需要加上sudo
vim ~/.bashrc
//在最后一行添上:
export PATH=/usr/local/elasticsearch-7.15/bin:$PATH
生效方法:(有以下两种)
1、关闭当前终端窗口,重新打开一个新终端窗口就能生效
2、执行“source ~/.bashrc”命令,立即生效
3、查看环境变量:echo $PATH
有效期限:永久有效
用户局限:仅对当前用户
4、安装运行
执行 elasticsearch,显示如下
启动es时,有时候需要等几分钟才能在浏览器中访问到。
在浏览器打开:http://localhost:9200,显示如下,说明安装成功
5、关闭和启动
前台启动:elasticsearch
前台关闭:ctrl+c
后台启动:elasticsearch -d
后台关闭:
查看elasticseatch进程号
杀死进程
kill -9 135628
第四步 使用
es提供了一系列的接口,进行查询筛选添加等操作,一般使用中,代码框架的db模型都集成了es的相关查询接口,很少需要直接通过api接口去es取数据。
这里仅展示一些简单的接口,需要了解更详细的内容,可在es官网查看
#检测集群是否健康
curl 'localhost:9200/_cat/health?v'
#获取集群的节点列表
curl 'localhost:9200/_cat/nodes?v'
#列出所有索引
curl 'localhost:9200/_cat/indices?v'
#删除指定索引,customer
curl -XDELETE 'localhost:9200/customer'
#查询指定索引index1数据
curl 'localhost:9200/index1/_search'
#查询索引index1中,name=wang的数据
curl -X POST"localhost:9200/index1/_search?pretty" -H 'Content-Type: application/json' -d'
{
"query" : {
"constant_score" : {
"filter" : {
"term" : {
"name" : "wang"
}
}
}
}
}
'
Logstash
es安装成功后,是没有数据的,如果通过es提供的api去插入数据,比较麻烦,也不容易维护。logstash就是为了完成向es中插入数据而诞生的。
第一步 下载并解压文件
为了让ws和lg完美的兼容,要保持他们两个的版本一致,我es使用的是7.15,所有lg也下载的7.15。下载后,同样把lg解压至/usr/local目录下
第二步 下载数据库驱动
我需要从mysql数据库同步数据到es,所以我下载是mysql的驱动,驱动名称和版本为
mysql-connector-java_8.0.26-1ubuntu21.04_all.jar
新建/usr/local/sync目录,该目录下用于存放配置相关文件。我们把数据驱动包放置到sync目录下。
第三步 新建和编辑配置文件
lg可以把数据库中的数据同步到es中,主要就是靠在配置文件中设置数据库的链接和es索引的相关内容,所以配置好lg的配置文件很重要
新建db.con文件,该文件作为主配置文件使用如下
input {
file {
#设置日志文件的路径
path => ["/usr/local/logstash-7.15/logs/run_error.log"]
type => "error"
start_position => "beginning"
}
jdbc {
# 设置 MySql/MariaDB 数据库url以及数据库名称
jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/www_vmw_web1_com?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true"
# 用户名和密码
jdbc_user => "root"
jdbc_password => "123456"
#处理中文乱码问题,暂时没有用到
#codec => plain { charset => "UTF-8"}
# 数据库驱动所在位置,可以是绝对路径或者相对路径
jdbc_driver_library => "/usr/local/logstash-7.15/sync/mysql-connector-java-8.0.26.jar"
# 驱动类名
jdbc_driver_class => "com.mysql.jdbc.Driver"
# 开启分页
jdbc_paging_enabled => "true"
# 分页每页数量,可以自定义
jdbc_page_size => "10000"
# 执行的sql文件路径
statement_filepath => "/usr/local/logstash-7.15/sync/index1.sql"
# 设置定时任务间隔 含义:分、时、天、月、年,全部为*默认含义为每分钟跑一次任务
schedule => "* * * * *"
# 索引类型,该参数可理解为mysql中的表名,
type => "type1"
# 是否开启记录上次追踪的结果,也就是上次更新的时间,这个会记录到 last_run_metadata_path 的文件
use_column_value => true
# 记录上一次追踪的结果值
last_run_metadata_path => "/usr/local/logstash-7.15/sync/track_time"
# 如果 use_column_value 为true, 配置本参数,追踪的 column 名,可以是自增id或者时间
#比如上次数据库有 10000 条记录,查询完后该文件中就会有数字 10000 这样的记录,下次执行 SQL 查询可以从 10001 条处开始.
#我们只需要在 SQL 语句中 WHERE id > :last_sql_value 即可. 其中 :last_sql_value 取得就是该文件中的值(10000).
tracking_column => "id"
# tracking_column 对应字段的类型,如果为日期必须声明为timestamp
tracking_column_type => "numeric"
# 是否清除 last_run_metadata_path 的记录,true则每次都从头开始查询所有的数据库记录
clean_run => false
# 数据库字段名称大写转小写
lowercase_column_names => false
}
}
output {
#input中可配置多个jdbc,每个jdbc记录mysql中一个表的值
#然后在此处判断,并设置每个表的索引名称,自增id等字段
if [type]=="type1" {
elasticsearch {
# es地址
hosts => ["127.0.0.1:9200"]
# 同步的索引名
index => "index1"
# 设置文档的自增id,取msyql表的自增id
document_id => "%{id}"
}
}
if [type]=="type2" {
elasticsearch {
# es地址
hosts => ["127.0.0.1:9200"]
# 同步的索引名
index => "index2"
# 设置_docID和数据相同
document_id => "%{aid}"
}
}
# 日志输出
stdout {
codec => json_lines
}
}
在sync目录新建index1.sql文件,代码如下
select * from index1 where id >= :sql_last_value
第四步 目录权限和其他配置
我们需要新建配置文件中指定的日志目录
/usr/local/logstash-7.15/logs
把logs目录权限设置为777
把目录/usr/local/logstash-7.15/data 权限也设置为777
把文件/usr/local/logstash-7.15/config/jvm.options中的
8-13:-XX:+UseConcMarkSweepGC
改为
8-13:-XX:+UseG1GC
否则会如下错误
第五步 运行
首先在es用下,开启elasticsearch
然后在root用户下,把usr/local/logstash-7.15/bin加入到环境变量。
执行命令
Logstash -f /usr/local/logstash-7.15/sync/db.conf
执行成功后,会出现要sql中查询的数据,如下
执行成功后,可使用es的api接口查看索引数据。
也可以安装Kibana图形工具查看