- 博客(19)
- 资源 (5)
- 收藏
- 关注
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 es 开启x-pack后,kibana连接es的方式
本文用 .pem 格式的证书文件配置kibana与es通讯1、执行下面的第一条命令生成根证书,一路回车!会得到elastic-stack-ca.p122、执行第二条命令,一路回车!会得到节点 kibana 的节点证书 kibana.p12bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12 --dns kibana --name kibana第一条命令:bin/elasticsearch-certutil ca第二条命令:bin/ela
2020-08-04 18:25:03
1822
4
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 es 开启 x-pack安全认证,java客户端的链接方式
应用场景:本文为logstash to es 的后续,es版本为 6.8.0 logstash to es 的实现 当我们给es 开启了权限认证后,上文解决了 如何 给 logstash 生成 pem证书 及 配置,如何把logstash 解析后的数据 发送 给 es 存储,那么很自然的 我们会考虑一个问题,如何 用java 客户端 去 链接 开启了 x-pack 权限认证的 es集群。一、java端 引包ps:我这边用的 springboot项目第一步:添加 elasticsearch的 repo
2020-08-03 15:57:32
2748
3
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 Logstash to ES 开启权限认证 (x-pack)
应用场景阐述:本文记录一次解决ElasticSearch开启x-pack安全认证后,logstash无法发送数据至 ES 存储的解决方法。一、先决条件首先我们需要 logstash 和 es集群环境,且配置好了 hosts文件映射主机名例如:vim etc/hosts#es三个节点pc1 10.20.10.1pc2 10.20.10.2pc3 10.20.10.3logstash-node-1 10.20.10.4二、开启安全认证在es主节点的配置文件中(elasticsearch.y
2020-07-31 18:11:05
9503
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 es-6.8.0以上版本开启权限认证x-pack配置
非常重要,如果生成密钥时 没有绑定 dns 和 ip 等信息(直接回车生成的的密钥),创建客户端时 必须加上 xpack.security.transport.ssl.verification_mode 属性,属性值为 certificate
2020-03-30 17:54:50
8950
4
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 Kafka集群构建——伪分布式
Kafka集群构建前言:本次构建为 伪分布式 即 在同一台服务器的不同端口上 启动多个服务,构成多个“伪节点”来达到伪分布式目的,区别与完全分布式的一台机器一个节点环境要求:centOs 7服务器 一台,jdk 1.8,zookeeper-3.4.12kafka-1.1.11、Kafka的定义What is Kafka:它是一个分布式消息系统,由linkedin使用scala编写...
2019-04-01 19:29:35
765
原创 2021-05-16
解决jar包部署时,当遇到配置文件内置的情况下,避免重新打包的解决方法linux中直接修改jar包内配置文件(1)使用jar tvf jar名称 | grep 目标文件名 查询出目标文件在jar包中的目录:jar tvf service-0.0.1-SNAPSHOT.jar |grep config.properties(2)使用jar xvf jar名称 目标文件名(copy上面查出的全路径) 将目标文件及所在jar包中的目录解压到当前路径:jar xvf service-0.0.1-SNAPS
2021-05-16 16:26:00
154
原创 2020-12-02
InitializingBean接口InitializingBean 是 Spring 提供的一个接口,只包含一个方法 afterPropertiesSet()。凡是实现了该接口的类,当其对应的 Bean 交由 Spring 管理后,当其必要的属性全部设置完成后,Spring 会调用该 Bean 的 afterPropertiesSet()。...
2020-12-02 18:20:28
211
原创 记一次logstash解析丢失全量字段message的情况
应用场景: kafka中存json数据,经logstash“丰富化”后,发送给es存储的过程,如果在input阶段就把数据转换为json,会造成后边处理数据的时候,无法获取全量字段(原始数据),。input{ #异常登录json字符串数据 kafka { group_id => "test-consumer-group" #如果数据在 input阶段 进行 json格式转换,后面在进行数据处理的时候将会失去 全量字段(原始信息) #codec => "js
2020-08-06 10:40:36
1851
2
原创 logstash-filter-jdbc_streaming通过mysql中的表进行数据“丰富化”
应用场景:应用场景:通过logstash-filter-jdbc_streaming插件,动态“丰富化” logstash处理的数据。filter{ jdbc_streaming { jdbc_driver_library => "/usr/local/logstash-6.8.0/vendor/jar/jdbc/mysql-connector-java-8.0.15.jar" jdbc_driver_class => "com.mysql.cj.jdbc.D
2020-08-05 17:58:21
632
原创 logstash-filter-jdbc_static通过mysql中的表进行数据“丰富化”
应用场景:通过logstash-filter-jdbc_static插件,静态“丰富化” logstash处理的数据。filter{ jdbc_static { loaders => [{ id => "cmd_dict" query => "select cmd_id,cmd_name from t_cmd_dict WHERE 1=1" local_table => "cmd_dict" }] local_db_objects =&
2020-08-05 17:49:47
886
原创 logstash-output-jdbc插件的在线安装and离线安装
应用场景:利用logstash-output-jdbc插件,将logstash中的数据吸入mysql数据库。logstash版本: logstash-6.8.0一、在线安装 logstash-output-jdbc进入 logstash安装目录cd /opt/logstash-6.8.0 bin/logstash-plugin install --no-verify logstash-output-jdbc安装报错:[root@pc1 logstash-6.8.0]# bin/logsta
2020-08-05 16:24:50
2077
原创 ES-6.8.0配置ik分词器
文中 ES 版本为 6.8.0,所以 IK分词器 用的版本也是 6.8.0考虑到有的朋友可能上gitlab比较卡,我在这里提供一个6.8.0版本的ik分词器的资源链接https://download.csdn.net/download/LSY929981117/12625373IK分词器IK Analyzer是一个开源的,基于java语言开发的轻量级的中文分词工具包。IK分词插件版本和Elasticsearch版本对应IK Analysis下载下载地址:https://github.com/
2020-07-24 17:08:33
951
原创 ES动态模板,设置ik分词器,指定分词字段,指定其他字段类型
curl -XPUT 'http://192.168.251.227:9200/_template/operate-template?pretty' -H 'Content-Type: application/json' -d'{ "order": 0, "template": "operate-log-*", "settings": { "index": { "number_of_shards": 5, "number_of_replicas": "1" } }, "map
2020-07-24 16:42:54
2261
原创 es 执行update操作后,列表不能够及时刷新,刷新间隔refresh_interval
更新的时候设置 refresh_policy 为 immediately 即可,如果不设置默认是不会立刻刷新的,需要等待索引 index.refresh_interval 设置的时间到了才会自动刷新JAVA API 示例:public UpdateResponse alarmLogIgnore(DataContainer dataContainer, String _index, String _type, String _id, String ignoreValue) { UpdateRes
2020-07-24 16:35:04
2709
1
转载 Kafka删除topic的一些方法
1、删除kafka存储目录(server.properties文件log.dirs配置,默认为"/tmp/kafka-logs")相关topic目录2、Kafka 删除topic的命令是:kafka/bin/kafka-topics.sh --delete --zookeeper Zookeeper地址 --topic 主题名称如果kafaka启动时加载的配置文件中server.proper...
2019-04-02 14:33:38
573
原创 centOs 7 端口 及 防火墙操作命令
1、端口操作添加firewall-cmd --zone=public --add-port=80/tcp --permanent (–permanent永久生效,没有此参数重启后失效)重新载入firewall-cmd --reload (开启 或 关闭 端口后 要执行一次 使最新配置生效)查看firewall-cmd --zone= public --query-port=80...
2019-04-02 14:13:37
259
原创 MySQL安装脚本
MySQL安装脚本**注:**本次安装版本为mysql-5.6.25-linux-glibc2.5-x86_64.tar.gz,.sh脚本和mysql安装包放在了 /opt/db 下,如需改变,请修改脚本第5,7,8,9行直接上脚:#!/bin/shservice sshd restartservice mysqld stopuserdel -f mysqlfilepath=/opt...
2019-04-01 16:34:38
996
原创 Mysql ONLY_FULL_GROUP_BY默认配置引发的问题
解决mysql-5.7以上版本的默认配置ONLY_FULL_GROUP_BY引起的错误问题:ONLY_FULL_GROUP_BY:对于GROUP BY聚合操作,如果在SELECT中的列,没有在GROUP BY中出现,那么将认为这个SQL是不合法的,因为列不在GROUP BY从句中因为有only_full_group_by,所以我们要在MySQL中正确的使用group by语句的话,只能是se...
2019-01-21 15:40:14
1858
原创 动态加载hive-jdbc
**动态加载hive-jdbc**应用场景:由于hive-jdbc的版本一般不具有向下兼容性,所以当我们需要从不同hadoop集群取hive数据的时候,考虑动态去加载不同版本的hive-jdbc驱动。亲测版本:hive-jdbc-1.1.0集群版本:CDH5.13.2 (hadoop-2.6.0)相关jar包:package com.zcah.healthScan.common;...
2018-11-09 16:22:00
961
elasticsearch-analysis-ik-6.8.0.zip
2020-07-16
kibana-6.8.0-linux-x86_64.tar.gz
2020-06-24
shell脚本安装mysql-5.6
2019-04-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人