MySQL 数据导入 ElasticSearch

最新推荐文章于 2024-08-05 14:21:54 发布

一只机智的猪

最新推荐文章于 2024-08-05 14:21:54 发布

阅读量653

点赞数

需要安装 Head 插件安装或者 Kibana 方便数据可视化

一

window 安装ElasticSearch

====================================================================

这里提供下载一些安装包

链接：https://pan.baidu.com/s/1a3LHo-X5UPnUo8B76h7zAA
提取码：6jqg

MySQL 数据导入 ElasticSearch

首先了解下

logstash

之前使用solr 进行数据同步都是基于调度器的，要么就是更新一条数据就更新solr索引库

到ElasticSearch 有一个工具logstash，什么是logstash？面向百度

Logstash是一款轻量级的日志搜集处理框架，可以方便的把分散的、多样化的日志搜集起来，并进行自定义的处理，然后传输到指定的位置，比如某个服务器或者文件。

解压logstash ，进入 bin 目录cmd 输入

logstash -e 'input { stdin { } } output { stdout {} } '

骚等一会，可能会卡按一下空格，等信息输出完毕，在控制台输入字符观察

logstash更详细介绍有兴趣的可以百度找找资料，实际上它里面也有一个调度器可以设置数据同步

=====================================================================

利用logstash 将MySQL 数据导入 ElasticSearch

（1）在 logstash-5.6.8 安装目录下创建文件夹 mysqletc （名称随意）

（2）文件夹下创建 mysql.conf （名称随意），内容如下：

input {
  jdbc {
	  # mysql jdbc connection string to our backup databse 数据库连接
	  jdbc_connection_string => "jdbc:mysql://192.168.xxx.XXX:3306/ktc_article?characterEncoding=UTF8"
	  # the user we wish to excute our statement as 用户名密码
	  jdbc_user => "root"
	  jdbc_password => "admin"
	  # the path to our downloaded jdbc driver 自行设置自己的路径 
	  jdbc_driver_library => "D:/logstash-5.6.8/mysqletc/mysql-connector-java-5.1.46.jar"
	  # the name of the driver class for mysql
	  jdbc_driver_class => "com.mysql.jdbc.Driver"
	  jdbc_paging_enabled => "true"
	  jdbc_page_size => "1000"
	  #以下对应着要执行的sql的绝对路径。
	  #statement_filepath => ""
	  statement => "select * from tb_article"
	  #定时字段 各字段含义（由左至右）分、时、天、月、年，全部为*默认含义为每分钟都更新（测试结果，不同的话请留言指出）
      schedule => "* * * * *"
  }
}

output {
  elasticsearch {
	  #ESIP地址与端口
	  hosts => "127.0.0.1:9200" 
	  #ES索引名称（自己定义的）
	  index => "ktc"
	  #自增ID编号
	  document_id => "%{id}"
	  document_type => "article"
  }
  stdout {
      #以JSON格式输出
      codec => json_lines
  }
}

（3）将 mysql 驱动包 mysql-connector-java-5.1.46.jar 拷贝至D:/logstash-5.6.8/mysqletc/ 下。D:/logstash-5.6.8是你的安装目录 jar 自己网上我这里用maven 仓库里就有