logstash 配置mysql数据源， mysql-connector-java-8.0.13.jar没有读权限或不加载数据

logstash 配置mysql数据源， mysql-connector-java-8.0.13.jar没有读权限

[2023-09-19T11:44:11,226][ERROR][logstash.javapipeline    ][main][63a9fa48345e7ff6aa5948ba8c28fc5cf05d96b9dd7e1d35dd28429202350ad3] A plugin had an unrecoverable error. Will restart this plugin.
  Pipeline_id:main
  Plugin: <LogStash::Inputs::Jdbc jdbc_user=>"root", schedule=>"0 1 * * *", jdbc_password=><password>, statement=>"SELECT * FROM ***", jdbc_driver_library=>"mysql-connector-java-8.0.13.jar", jdbc_connection_string=>"jdbc:mysql://127.0.0.1:3306/***?useUnicode=true&characterEncoding=UTF-8&serverTimezone=UTC&useSSL=false&allowMultiQueries=true", id=>"63a9fa48345e7ff6aa5948ba8c28fc5cf05d96b9dd7e1d35dd28429202350ad3", jdbc_driver_class=>"com.mysql.cj.jdbc.Driver", enable_metric=>true, codec=><LogStash::Codecs::Plain id=>"plain_5b2c39bc-2e29-46d5-a23c-26a60bc31ab8", enable_metric=>true, charset=>"UTF-8">, jdbc_paging_enabled=>false, jdbc_paging_mode=>"auto", jdbc_page_size=>100000, jdbc_validate_connection=>false, jdbc_validation_timeout=>3600, jdbc_pool_timeout=>5, sql_log_level=>"info", connection_retry_attempts=>1, connection_retry_attempts_wait_time=>0.5, plugin_timezone=>"utc", last_run_metadata_path=>"/root/.logstash_jdbc_last_run", use_column_value=>false, tracking_column_type=>"numeric", clean_run=>false, record_last_run=>true, lowercase_column_names=>true, use_prepared_statements=>false>
  Error: unable to load mysql-connector-java-8.0.13.jar from :jdbc_driver_library, file not readable (please check user and group permissions for the path)
  Exception: LogStash::PluginLoadingError
  Stack: /home/es/logstash-8.2.0/vendor/bundle/jruby/2.5.0/gems/logstash-integration-jdbc-5.2.4/lib/logstash/plugin_mixins/jdbc/common.rb:59:in `block in load_driver_jars'
org/jruby/RubyArray.java:1821:in `each'
/home/es/logstash-8.2.0/vendor/bundle/jruby/2.5.0/gems/logstash-integration-jdbc-5.2.4/lib/logstash/plugin_mixins/jdbc/common.rb:54:in `load_driver_jars'
/home/es/logstash-8.2.0/vendor/bundle/jruby/2.5.0/gems/logstash-integration-jdbc-5.2.4/lib/logstash/plugin_mixins/jdbc/common.rb:34:in `load_driver'
/home/es/logstash-8.2.0/vendor/bundle/jruby/2.5.0/gems/logstash-integration-jdbc-5.2.4/lib/logstash/inputs/jdbc.rb:295:in `run'
/home/es/logstash-8.2.0/logstash-core/lib/logstash/java_pipeline.rb:409:in `inputworker'
/home/es/logstash-8.2.0/logstash-core/lib/logstash/java_pipeline.rb:400:in `block in start_input'

问下通义千问和文心一言

根据错误信息，您需要检查以下几个方面：

1. 确认mysql-connector-java-8.0.13.jar文件是否存在，并且文件是否可读。您可以在logstash的classpath路径下查找该文件，如果不存在或者不可读，请将其复制到正确的路径下，并确保具有可读权限。
2. 确认jdbc_connection_string参数是否正确，包括主机名、端口号、数据库名称等。如果参数不正确，可能会导致连接失败。
3. 确认logstash的配置文件是否正确，包括jdbc_user、jdbc_password、jdbc_statement等参数。如果参数不正确，可能会导致查询失败。
4. 确认logstash的运行环境是否正确，包括Java版本、操作系统等。如果环境不正确，可能会导致驱动加载失败。

如果您已经确认以上几个方面都没有问题，但是问题仍然存在，建议您检查logstash的日志文件，以便进一步排查问题。
你的问题是关于 Logstash 的 JDBC 输入插件无法加载 MySQL 驱动库的问题。错误信息显示为：“unable to load mysql-connector-java-8.0.13.jar from :jdbc_driver_library, file not readable (please check user and group permissions for the path)”。这表明 Logstash 无法读取你指定的 MySQL 驱动库文件。

这个问题可能是由于以下原因导致的：

文件路径不正确：请确保 mysql-connector-java-8.0.13.jar 文件的路径与你在 Logstash 配置文件中指定的路径一致。

文件权限问题：请检查 mysql-connector-java-8.0.13.jar 文件的读权限。你需要确保运行 Logstash 的用户有权限读取该文件。你可以使用以下命令来更改文件权限：

bash
chmod 755 mysql-connector-java-8.0.13.jar
这个命令将赋予所有用户对该文件的读、写、执行权限。如果你只想赋予所有者读、写、执行权限，而其他用户只有读、执行权限，可以使用以下命令：

bash
chmod 700 mysql-connector-java-8.0.13.jar
驱动版本不兼容：你使用的 MySQL 驱动版本（8.0.13）可能与你的 Logstash 版本不兼容。你可以尝试更新或降级驱动版本。
请检查以上问题，并逐一尝试解决，看是否能解决你的问题。

解决问题

以上是通义千问和文心一言给的答案，问了一圈后没解决，但已给了思路
关于版本兼容
是的，Logstash 8.2.0与MySQL 5.7.29以及mysql-connector-java-8.0.13.jar是兼容的。
账号密码，版本兼容都没问题绕一圈不知道怎么办了，
最后问题还是回到 Error: unable to load mysql-connector-java-8.0.13.jar from :jdbc_driver_library, file not readable (please check user and group permissions for the path) 这句上，
没读权限，但我已经给了777权限了啊。
然后我就吧路径写成绝对路径就好了

  jdbc {
    jdbc_driver_library => "/home/es/logstash-8.2.0/lib/mysql-connector-java-8.0.13.jar"
	jdbc_driver_class => "com.mysql.cj.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://127.0.01:3306/***?useUnicode=true&characterEncoding=UTF-8&serverTimezone=UTC&useSSL=false&allowMultiQueries=true"
    jdbc_user => ""***""
    jdbc_password => "****"
    statement => "SELECT * FROM ***"
    schedule => "0 0 * * *"
  }
   if "jdbc" in [type] {
    elasticsearch {
      hosts => ["http://localhost:9200"]
      index => "json_log"
    }
  }

其他

全文搜索是只有这一个jar的，也不知道相对路径他加载的是那个jar包

 # find / -name mysql-connector-java-8.0.13.jar
find: ‘/proc/18662’: 没有那个文件或目录
find: ‘/proc/18668’: 没有那个文件或目录
/home/es/logstash-8.2.0/lib/mysql-connector-java-8.0.13.jar

--config.reload.automatic  热加载配置文件
nohup /home/es/logstash-8.2.0/bin/logstash -f /home/es/logstash-8.2.0/conf/ --config.reload.automatic >/home/es/logstash-8.2.0/logs/outlog.log &

如果还是没数据

执行时间不到

文心一言说 0 0 * * * 这个是每天0点执行一次，cron上是每小时一次，但都不适合测试用

 检查下这个多久执行一次哦，我是监控数据库执行sql日志才发现的
   schedule => "0 0 * * *"
   改成
 schedule => "46 * * * *"
 改成当前小时的下一分钟，等logstash更新后就能直接执行了

已经执行过了

猜测的可能
Logstash中的JDBC输入插件允许你使用SQL查询从关系型数据库中抽取数据。其中的schedule配置项用来设置查询的频率。你给出的例子schedule => "0 0 * * *"表示每天午夜（00:00）执行一次查询。

这个插件的工作方式是，在每次执行查询时，它会记录上次查询的节点。因此，第二次执行查询时，它会从上次查询的节点开始，而不是重新获取全部数据。
如果你想改变这种行为，例如想要重新获取全部数据，你可以使用use_column_value和tracking_column配置项。通过设置use_column_value => true和tracking_column => ‘your_column’，你可以让Logstash使用特定列的值来确定上次查询的位置，而不是仅仅记录节点。
请注意，对于tracking_column的选择，需要是一个递增的列，例如自增的主键，这样Logstash才能知道上次查询到的位置。----------------------------------------------------------
在Logstash的JDBC输入插件中，如果没有配置主键或递增列，它将默认使用数据库的默认递增主键（通常为自增ID）。这个主键用于记录上次查询的节点。因此，即使没有显式配置主键，Logstash仍然能够记录上次查询的位置。

如果你的表没有定义主键或递增列，并且你希望Logstash能够记录上次查询的位置，你可以手动添加一个自增的主键列到表中。这样，Logstash就可以使用该列来跟踪查询的位置。

另外，如果你不希望使用主键或递增列来记录查询位置，你可以考虑使用其他方法，如使用时间戳或特定条件来限制查询结果。这样，你可以根据特定的条件来控制查询的范围，而不依赖于主键或递增列。

参考资料

通义千问和文心一言和百度搜索…