自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(385)
  • 资源 (2)
  • 收藏
  • 关注

原创 python 根据文本相似度:数据去重

python3 处理脚本:处理结果如下。

2024-08-22 18:22:19 312

原创 Nacos 修复 Tomcat 信息泄露漏洞CVE-2024-21733

漏洞名称:Apache Tomcat 信息泄露漏洞漏洞编号:CVE-2024-21733漏洞等级:高危影响版本:Apache Tomcat 9.0.0-M11 至 9.0.43, Apache Tomcat 8.5.7 至 8.5.63安全建议:目前该漏洞已经修复,受影响用户可升级到以下版本:Apache Tomcat >= 9.0.44Apache Tomcat >= 8.5.64Apache Tomcat版本9.0.0-M11 - 9.0.43、8.5.7 - 8.5.63中均存在该信息泄露

2024-08-22 15:10:37 517

原创 kafka 集群迁移:topic元数据备份,查看所有topic的消费积压

【代码】kafka 集群迁移:topic原数据备份。

2024-08-15 16:42:12 315

原创 ES 索引模板导入导出

【代码】ES 索引模板导入导出。

2024-08-12 16:44:10 172

原创 shell脚本传参调用http接口

【代码】shell脚本传参调用http接口。

2024-07-15 16:19:45 298

原创 达梦数据库日常查询与管理

【代码】达梦数据库日常查询与管理。

2024-06-27 18:07:59 1609

原创 Kibana创建ElasticSearch 用户角色

ES 权限参考 https://www.elastic.co/guide/en/elasticsearch/reference/7.17/security-privileges.html#privileges-list-cluster作用范围权限权限说明集群monitor只读权限 cluster health , list indices, node info, pending cluster tasks索引writeindex, update, delete do

2024-05-28 15:10:18 681

原创 ES数据量月增、日增评估

【代码】ES数据量月增、日增评估。

2024-05-23 14:09:27 160

原创 信创环境ES索引管理脚本:close, delete

1, 脚本内容: es-close-del.sh[root@myprojtest001 ]# cat es-close-del.sh#/bin/bash#elastic地址ELASTIC_URL=127.0.0.1:9200#默认的删除时间DELETE_MONTH=3#默认的关闭时间CLOSE_MONTH=1#默认index#INDEX_NAME=s_awqed_INDEX_NAME=ES_USER_PWD=elastic:123456if [[ "${DELETE_MONTH

2024-04-01 09:52:03 443

原创 elasticsearch-curator: es索引生命周期(关闭、删除索引)

es curator 配置使用

2024-01-02 11:53:02 1317

原创 ElasticSearch 排障常用方法

【代码】ElasticSearch 排障常用方法。

2023-12-01 10:17:16 679

原创 linux 查看并统计进程、线程数量: awk 分组统计

【代码】linux 查看并统计进程、线程数量: awk 分组统计。

2023-11-08 11:35:20 645

原创 java进程内存分析工具-生成core dump文件,并读取分析:jmap, jhat

【代码】java进程内存分析工具-生成core dump文件,并读取分析:jmap, jhat。

2023-11-08 11:19:17 992

原创 gitlab 离线安装问题解决:NOKEY,signature check fail

gitlab-ce NOKEY signature check fail

2023-10-20 18:11:04 1631

原创 mysql迁移后验证数据一致性

【代码】mysql迁移后验证数据一致性。

2023-10-19 17:52:08 502

原创 python 监控ES索引数量变化(前10分钟、20分钟、30分钟)

【代码】python聚合。

2023-09-28 14:05:54 593

原创 python 明文密码加解密

【代码】python 明文密码加解密。

2023-09-19 11:35:35 607

原创 logstash 消费kafka数据,转发到tcp端口,解决logstash时间差8小时

【代码】logstash 消费kafka数据,转发到tcp端口。

2023-09-06 16:44:17 776

原创 FlinkSQL 实现kafka2mysql

【代码】FlinkSQL 实现kafka2mysql。

2023-06-21 17:20:08 419

原创 比较并获取两个文件:共同点,各自的差异数据

【代码】比较并获取两个文件:共同点,各自的差异数据。

2023-06-09 14:29:04 120

原创 python脚本:解析命令行参数,读取csv文件,调用http接口,解析json数据, 读mysql

【代码】python脚本参数解析。读取csv文件,调用http接口,解析jsons数据

2023-02-03 16:12:36 417 1

原创 clickhouse 分区表管理,删除旧数据

clickhouse删除旧的分区,清除旧数据

2022-12-08 10:13:37 3655

原创 ES集群安装

【代码】ES集群安装。

2022-11-24 11:27:46 877

原创 Prometheus + Grafana 监控和告警

重启Prometheus 主程序,查看加载到的告警配置 (点击 Alerts 或Status–> Rules)查看采集器状态(数据接入接口地址):Status --> Targets。以下用node export为例:默认启动端口 9100。编辑 rules/node_alert.yml。

2022-10-26 10:57:19 7598

原创 CDH 端口未授权访问:hdfs-50070, yarn-8088, jetty漏洞修复

【代码】CDH 端口未授权访问:hdfs-50070, yarn-8088, jetty漏洞修复。

2022-10-05 15:53:14 5172 16

原创 删除gluster volume数据报错:no space left

删除glustervolume数据报错nospaceleft。

2022-07-27 10:20:45 556

原创 hbase 分布式安装

hbase分布式安装。

2022-07-25 15:51:23 559

原创 hadoop ha集群搭建

hadoopha集群搭建。

2022-07-25 10:12:25 406

原创 rancher升级,k8s集群升级

k8s版本升级,rke升级k8s

2022-07-14 14:06:44 1359

原创 heketi管理glusterfs,k8s基于glusterfs创建storageclass

heketi 项目介绍:https://github.com/heketi/heketi要点概况:参考的文档:https://www.jianshu.com/p/8f36e59ae4f8heketi 二进制包下载:https://github.com/heketi/heketi/releases编写systemd启动文件

2022-07-05 17:30:21 1670

原创 截取分发指定行的数据:sed,clickhouse-client导入数据

1,使用场景使用clickhouse(分布式表–> 多个本地表分片),导入数据时,为了不影响集群性能,不走分布式表,而走本地表完整截取一个文件,并分发到不同的地方处理,数据不出现重复2,脚本详情#!/bin/bash[ $# -lt 1 ] && echo "usage: sh $0 xx.csv" && exitfile=$1count=` wc -l $file |awk '{print $1}' `hosts=(192.168.56.1

2022-04-28 17:26:53 474

原创 nginx外网 + harbor拉取推送镜像

1,问题描述nginx + harbor nginx容器配置: 外网nginx代理后harbor域名:harbor01.io harbor.cfg ( hostname = 11.243.32.211 ) ---> pull harbor01.io/xx/yy err harbor.cfg ( hostname = harbor01.io ) ---> pull harbor01.io/xx/yy ok, push err common/co

2022-04-25 10:58:42 4135

原创 wrapper后台启动java程序

1,下载wrapper下载地址:https://wrapper.tanukisoftware.com/doc/english/download.jsp#stable2,使用wrapper后台启动java程序2.1,编写java样例程序HelloWorldServer.java具体代码参考:https://wrapper.tanukisoftware.com/doc/english/app-hello-world-server.html#sourcecom.my.Test2public clas

2022-04-15 18:10:58 1577

原创 MongoDB 分片集群安装

文章目录1,安装mongodb服务2,配置分片集群3,启动各服务,验证集群配置mongos连接各分片1,安装mongodb服务#安装软件包[root@c7 mongodb]# rpm -qf /usr/bin/mongomongodb-org-shell-5.0.7-1.el7.x86_64[root@c7 mongodb]# rpm -qf /usr/bin/mongodmongodb-org-server-5.0.7-1.el7.x86_64[root@c7 mongodb]# rpm -

2022-04-15 14:51:26 1203

原创 Linux交互式编程:expect

1,执行shell命令:需要远程登录,并输入密码样例1#ssh xx@ip 执行命令,需要交互式确认:主机是否授信,输入登录密码#[test@c7 ~]$ ssh vagrant@localhost#The authenticity of host 'localhost (::1)' can't be established.#ECDSA key fingerprint is SHA256:7IYMcIBmMQ6QAekpkziKLrWvaTkRCWR9O6HRKIcXt6I.#ECDSA ke

2022-04-15 10:48:39 1337

原创 普通用户启动Clickhouse

文章目录1,场景说明2,修改启动脚本:使用ck用户启动服务3,ck用户启动服务1,场景说明考虑安全和权限问题,安装完程序以后,银行等企业一般会收回root权限,此时有些服务可能启动失败,例如clickhouse服务继上一篇Clickhouse集群安装以后 https://blog.csdn.net/eyeofeagle/article/details/1221937192,修改启动脚本:使用ck用户启动服务#1,ck 用户可登录echo clickhouse |password clickhou

2022-03-23 09:52:57 2198 3

原创 nacos 安装配置

文章目录1,下载编译后压缩包2,修改配置,启动服务2.1 standalone模式2.2 cluster 模式1,下载编译后压缩包参考文档: https://nacos.io/zh-cn/docs/cluster-mode-quick-start.html2,修改配置,启动服务2.1 standalone模式sh bin/startup.sh -m standalone2.2 cluster 模式#1,集群配置文件: 请每行配置成ip:port(请配置3个或以上节点)[root@c7

2022-03-03 17:29:08 2054

原创 hive脚本分析:加载第三方jar包

1, hive安装目录[root@bigdata4 ~]# tail /export/hive/conf/hive-env.shexport HADOOP_HEAPSIZE=2048export HADOOP_CLIENT_OPTS="-Xmx2g -Xms2g -Djava.net.preferIPv4Stack=true $HADOOP_CLIENT_OPTS"HADOOP_HOME=/export/hadoopHADOOP_CONF_DIR=/export/common/hadoop/con

2022-02-23 18:26:45 1816

原创 canal: mysql数据实时同步kafka

文章目录1,环境准备:zk, kafka, mysql-mastermysql启用binlog2, 启动zk, kafka2,安装配置canal3,测试使用官网介绍:https://github.com/alibaba/canal/wiki/Introduction1,环境准备:zk, kafka, mysql-master角色IPmysql-master192.168.56.1 (windows)zk, kafka, canal1,canal2192.168.56.7

2022-02-14 15:27:20 940

原创 OLAP引擎:clickhouse, presto

1, clickhousea, 安装服务sudo yum install yum-utilssudo rpm --import https://repo.clickhouse.com/CLICKHOUSE-KEY.GPGsudo yum-config-manager --add-repo https://repo.clickhouse.com/rpm/stable/x86_64sudo yum install clickhouse-server clickhouse-client/etc/in

2021-12-28 16:20:14 2495

ck-3node-conf.tar.gz

clickhouse基于zookeeper的集群配置

2022-01-07

presto-cli-0.266.1-executable.jar

presto客户端

2021-12-28

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除