Mr.差啥呀-CSDN博客

原创 es 开启x-pack后，kibana连接es的方式

本文用 .pem 格式的证书文件配置kibana与es通讯1、执行下面的第一条命令生成根证书，一路回车！会得到elastic-stack-ca.p122、执行第二条命令，一路回车！会得到节点 kibana 的节点证书 kibana.p12bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12 --dns kibana --name kibana第一条命令：bin/elasticsearch-certutil ca第二条命令：bin/ela

2020-08-04 18:25:03 1822 4

原创 es 开启 x-pack安全认证，java客户端的链接方式

应用场景：本文为logstash to es 的后续，es版本为 6.8.0 logstash to es 的实现当我们给es 开启了权限认证后，上文解决了如何给 logstash 生成 pem证书及配置，如何把logstash 解析后的数据发送给 es 存储，那么很自然的我们会考虑一个问题，如何用java 客户端去链接开启了 x-pack 权限认证的 es集群。一、java端引包ps：我这边用的 springboot项目第一步：添加 elasticsearch的 repo

2020-08-03 15:57:32 2748 3

原创 Logstash to ES 开启权限认证 (x-pack)

应用场景阐述：本文记录一次解决ElasticSearch开启x-pack安全认证后，logstash无法发送数据至 ES 存储的解决方法。一、先决条件首先我们需要 logstash 和 es集群环境，且配置好了 hosts文件映射主机名例如：vim etc/hosts#es三个节点pc1 10.20.10.1pc2 10.20.10.2pc3 10.20.10.3logstash-node-1 10.20.10.4二、开启安全认证在es主节点的配置文件中（elasticsearch.y

2020-07-31 18:11:05 9503

原创 es-6.8.0以上版本开启权限认证x-pack配置

非常重要，如果生成密钥时没有绑定 dns 和 ip 等信息（直接回车生成的的密钥），创建客户端时必须加上 xpack.security.transport.ssl.verification_mode 属性，属性值为 certificate

2020-03-30 17:54:50 8950 4

原创 Kafka集群构建——伪分布式

Kafka集群构建前言：本次构建为伪分布式即在同一台服务器的不同端口上启动多个服务，构成多个“伪节点”来达到伪分布式目的，区别与完全分布式的一台机器一个节点环境要求：centOs 7服务器一台，jdk 1.8，zookeeper-3.4.12kafka-1.1.11、Kafka的定义What is Kafka：它是一个分布式消息系统，由linkedin使用scala编写...

2019-04-01 19:29:35 765

原创 2021-05-16

解决jar包部署时，当遇到配置文件内置的情况下，避免重新打包的解决方法linux中直接修改jar包内配置文件（1）使用jar tvf jar名称 | grep 目标文件名查询出目标文件在jar包中的目录：jar tvf service-0.0.1-SNAPSHOT.jar |grep config.properties（2）使用jar xvf jar名称目标文件名(copy上面查出的全路径) 将目标文件及所在jar包中的目录解压到当前路径：jar xvf service-0.0.1-SNAPS

2021-05-16 16:26:00 154

原创 2020-12-02

InitializingBean接口InitializingBean 是 Spring 提供的一个接口，只包含一个方法 afterPropertiesSet()。凡是实现了该接口的类，当其对应的 Bean 交由 Spring 管理后，当其必要的属性全部设置完成后，Spring 会调用该 Bean 的 afterPropertiesSet()。...

2020-12-02 18:20:28 211

原创记一次logstash解析丢失全量字段message的情况

应用场景： kafka中存json数据，经logstash“丰富化”后，发送给es存储的过程，如果在input阶段就把数据转换为json，会造成后边处理数据的时候，无法获取全量字段（原始数据），。input{ #异常登录json字符串数据 kafka { group_id => "test-consumer-group" #如果数据在 input阶段进行 json格式转换，后面在进行数据处理的时候将会失去全量字段（原始信息） #codec => "js

2020-08-06 10:40:36 1851 2

原创 logstash-filter-jdbc_streaming通过mysql中的表进行数据“丰富化”

应用场景：应用场景：通过logstash-filter-jdbc_streaming插件，动态“丰富化” logstash处理的数据。filter{ jdbc_streaming { jdbc_driver_library => "/usr/local/logstash-6.8.0/vendor/jar/jdbc/mysql-connector-java-8.0.15.jar" jdbc_driver_class => "com.mysql.cj.jdbc.D

2020-08-05 17:58:21 632

原创 logstash-filter-jdbc_static通过mysql中的表进行数据“丰富化”

应用场景：通过logstash-filter-jdbc_static插件，静态“丰富化” logstash处理的数据。filter{ jdbc_static { loaders => [{ id => "cmd_dict" query => "select cmd_id,cmd_name from t_cmd_dict WHERE 1=1" local_table => "cmd_dict" }] local_db_objects =&

2020-08-05 17:49:47 886

原创 logstash-output-jdbc插件的在线安装and离线安装

应用场景：利用logstash-output-jdbc插件，将logstash中的数据吸入mysql数据库。logstash版本： logstash-6.8.0一、在线安装 logstash-output-jdbc进入 logstash安装目录cd /opt/logstash-6.8.0 bin/logstash-plugin install --no-verify logstash-output-jdbc安装报错：[root@pc1 logstash-6.8.0]# bin/logsta

2020-08-05 16:24:50 2077

原创 ES-6.8.0配置ik分词器

文中 ES 版本为 6.8.0，所以 IK分词器用的版本也是 6.8.0考虑到有的朋友可能上gitlab比较卡，我在这里提供一个6.8.0版本的ik分词器的资源链接https://download.csdn.net/download/LSY929981117/12625373IK分词器IK Analyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。IK分词插件版本和Elasticsearch版本对应IK Analysis下载下载地址：https://github.com/

2020-07-24 17:08:33 951

原创 ES动态模板，设置ik分词器，指定分词字段，指定其他字段类型

curl -XPUT 'http://192.168.251.227:9200/_template/operate-template?pretty' -H 'Content-Type: application/json' -d'{ "order": 0, "template": "operate-log-*", "settings": { "index": { "number_of_shards": 5, "number_of_replicas": "1" } }, "map

2020-07-24 16:42:54 2261

原创 es 执行update操作后，列表不能够及时刷新，刷新间隔refresh_interval

更新的时候设置 refresh_policy 为 immediately 即可，如果不设置默认是不会立刻刷新的，需要等待索引 index.refresh_interval 设置的时间到了才会自动刷新JAVA API 示例：public UpdateResponse alarmLogIgnore(DataContainer dataContainer, String _index, String _type, String _id, String ignoreValue) { UpdateRes

2020-07-24 16:35:04 2709 1

转载 Kafka删除topic的一些方法

1、删除kafka存储目录（server.properties文件log.dirs配置，默认为"/tmp/kafka-logs"）相关topic目录2、Kafka 删除topic的命令是：kafka/bin/kafka-topics.sh --delete --zookeeper Zookeeper地址 --topic 主题名称如果kafaka启动时加载的配置文件中server.proper...

2019-04-02 14:33:38 573

原创 centOs 7 端口及防火墙操作命令

1、端口操作添加firewall-cmd --zone=public --add-port=80/tcp --permanent （–permanent永久生效，没有此参数重启后失效）重新载入firewall-cmd --reload （开启或关闭端口后要执行一次使最新配置生效）查看firewall-cmd --zone= public --query-port=80...

2019-04-02 14:13:37 259

原创 MySQL安装脚本

MySQL安装脚本**注：**本次安装版本为mysql-5.6.25-linux-glibc2.5-x86_64.tar.gz，.sh脚本和mysql安装包放在了 /opt/db 下，如需改变，请修改脚本第5，7，8，9行直接上脚：#!/bin/shservice sshd restartservice mysqld stopuserdel -f mysqlfilepath=/opt...

2019-04-01 16:34:38 996

原创 Mysql ONLY_FULL_GROUP_BY默认配置引发的问题

解决mysql-5.7以上版本的默认配置ONLY_FULL_GROUP_BY引起的错误问题：ONLY_FULL_GROUP_BY：对于GROUP BY聚合操作，如果在SELECT中的列，没有在GROUP BY中出现，那么将认为这个SQL是不合法的，因为列不在GROUP BY从句中因为有only_full_group_by，所以我们要在MySQL中正确的使用group by语句的话，只能是se...

2019-01-21 15:40:14 1858

原创动态加载hive-jdbc

**动态加载hive-jdbc**应用场景：由于hive-jdbc的版本一般不具有向下兼容性，所以当我们需要从不同hadoop集群取hive数据的时候，考虑动态去加载不同版本的hive-jdbc驱动。亲测版本：hive-jdbc-1.1.0集群版本：CDH5.13.2 (hadoop-2.6.0)相关jar包：package com.zcah.healthScan.common;...

2018-11-09 16:22:00 961