自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(379)
  • 资源 (2)
  • 收藏
  • 关注

原创 Kibana创建ElasticSearch 用户角色

ES 权限参考 https://www.elastic.co/guide/en/elasticsearch/reference/7.17/security-privileges.html#privileges-list-cluster作用范围权限权限说明集群monitor只读权限 cluster health , list indices, node info, pending cluster tasks索引writeindex, update, delete do

2024-05-28 15:10:18 89

原创 ES数据量月增、日增评估

【代码】ES数据量月增、日增评估。

2024-05-23 14:09:27 64

原创 信创环境ES索引管理脚本:close, delete

1, 脚本内容: es-close-del.sh[root@myprojtest001 ]# cat es-close-del.sh#/bin/bash#elastic地址ELASTIC_URL=127.0.0.1:9200#默认的删除时间DELETE_MONTH=3#默认的关闭时间CLOSE_MONTH=1#默认index#INDEX_NAME=s_awqed_INDEX_NAME=ES_USER_PWD=elastic:123456if [[ "${DELETE_MONTH

2024-04-01 09:52:03 348

原创 elasticsearch-curator: es索引生命周期(关闭、删除索引)

es curator 配置使用

2024-01-02 11:53:02 1038

原创 ElasticSearch 排障常用方法

【代码】ElasticSearch 排障常用方法。

2023-12-01 10:17:16 639

原创 linux 查看并统计进程、线程数量: awk 分组统计

【代码】linux 查看并统计进程、线程数量: awk 分组统计。

2023-11-08 11:35:20 498

原创 java进程内存分析工具-生成core dump文件,并读取分析:jmap, jhat

【代码】java进程内存分析工具-生成core dump文件,并读取分析:jmap, jhat。

2023-11-08 11:19:17 823

原创 gitlab 离线安装问题解决:NOKEY,signature check fail

gitlab-ce NOKEY signature check fail

2023-10-20 18:11:04 1231

原创 mysql迁移后验证数据一致性

【代码】mysql迁移后验证数据一致性。

2023-10-19 17:52:08 334

原创 python删除旧的文件,监控ES索引数量变化

【代码】python聚合。

2023-09-28 14:05:54 558

原创 python 明文密码加解密

【代码】python 明文密码加解密。

2023-09-19 11:35:35 499

原创 logstash 消费kafka数据,转发到tcp端口

【代码】logstash 消费kafka数据,转发到tcp端口。

2023-09-06 16:44:17 651

原创 FlinkSQL 实现kafka2mysql

【代码】FlinkSQL 实现kafka2mysql。

2023-06-21 17:20:08 379

原创 比较并获取两个文件:共同点,各自的差异数据

【代码】比较并获取两个文件:共同点,各自的差异数据。

2023-06-09 14:29:04 101

原创 python脚本:解析命令行参数,读取csv文件,调用http接口,解析json数据, 读mysql

【代码】python脚本参数解析。读取csv文件,调用http接口,解析jsons数据

2023-02-03 16:12:36 378 1

原创 clickhouse 分区表管理,删除旧数据

clickhouse删除旧的分区,清除旧数据

2022-12-08 10:13:37 3104

原创 ES集群安装

【代码】ES集群安装。

2022-11-24 11:27:46 843

原创 Prometheus + Grafana 监控和告警

重启Prometheus 主程序,查看加载到的告警配置 (点击 Alerts 或Status–> Rules)查看采集器状态(数据接入接口地址):Status --> Targets。以下用node export为例:默认启动端口 9100。编辑 rules/node_alert.yml。

2022-10-26 10:57:19 7321

原创 CDH 端口未授权访问:hdfs-50070, yarn-8088, jetty漏洞修复

【代码】CDH 端口未授权访问:hdfs-50070, yarn-8088, jetty漏洞修复。

2022-10-05 15:53:14 4782 15

原创 删除gluster volume数据报错:no space left

删除glustervolume数据报错nospaceleft。

2022-07-27 10:20:45 508

原创 hbase 分布式安装

hbase分布式安装。

2022-07-25 15:51:23 542

原创 hadoop ha集群搭建

hadoopha集群搭建。

2022-07-25 10:12:25 376

原创 rancher升级,k8s集群升级

k8s版本升级,rke升级k8s

2022-07-14 14:06:44 1314

原创 heketi管理glusterfs,k8s基于glusterfs创建storageclass

heketi 项目介绍:https://github.com/heketi/heketi要点概况:参考的文档:https://www.jianshu.com/p/8f36e59ae4f8heketi 二进制包下载:https://github.com/heketi/heketi/releases编写systemd启动文件

2022-07-05 17:30:21 1586

原创 截取分发指定行的数据:sed,clickhouse-client导入数据

1,使用场景使用clickhouse(分布式表–> 多个本地表分片),导入数据时,为了不影响集群性能,不走分布式表,而走本地表完整截取一个文件,并分发到不同的地方处理,数据不出现重复2,脚本详情#!/bin/bash[ $# -lt 1 ] && echo "usage: sh $0 xx.csv" && exitfile=$1count=` wc -l $file |awk '{print $1}' `hosts=(192.168.56.1

2022-04-28 17:26:53 375

原创 nginx外网 + harbor拉取推送镜像

1,问题描述nginx + harbor nginx容器配置: 外网nginx代理后harbor域名:harbor01.io harbor.cfg ( hostname = 11.243.32.211 ) ---> pull harbor01.io/xx/yy err harbor.cfg ( hostname = harbor01.io ) ---> pull harbor01.io/xx/yy ok, push err common/co

2022-04-25 10:58:42 4024

原创 wrapper后台启动java程序

1,下载wrapper下载地址:https://wrapper.tanukisoftware.com/doc/english/download.jsp#stable2,使用wrapper后台启动java程序2.1,编写java样例程序HelloWorldServer.java具体代码参考:https://wrapper.tanukisoftware.com/doc/english/app-hello-world-server.html#sourcecom.my.Test2public clas

2022-04-15 18:10:58 1503

原创 MongoDB 分片集群安装

文章目录1,安装mongodb服务2,配置分片集群3,启动各服务,验证集群配置mongos连接各分片1,安装mongodb服务#安装软件包[root@c7 mongodb]# rpm -qf /usr/bin/mongomongodb-org-shell-5.0.7-1.el7.x86_64[root@c7 mongodb]# rpm -qf /usr/bin/mongodmongodb-org-server-5.0.7-1.el7.x86_64[root@c7 mongodb]# rpm -

2022-04-15 14:51:26 1175

原创 Linux交互式编程:expect

1,执行shell命令:需要远程登录,并输入密码样例1#ssh xx@ip 执行命令,需要交互式确认:主机是否授信,输入登录密码#[test@c7 ~]$ ssh vagrant@localhost#The authenticity of host 'localhost (::1)' can't be established.#ECDSA key fingerprint is SHA256:7IYMcIBmMQ6QAekpkziKLrWvaTkRCWR9O6HRKIcXt6I.#ECDSA ke

2022-04-15 10:48:39 1307

原创 普通用户启动Clickhouse

文章目录1,场景说明2,修改启动脚本:使用ck用户启动服务3,ck用户启动服务1,场景说明考虑安全和权限问题,安装完程序以后,银行等企业一般会收回root权限,此时有些服务可能启动失败,例如clickhouse服务继上一篇Clickhouse集群安装以后 https://blog.csdn.net/eyeofeagle/article/details/1221937192,修改启动脚本:使用ck用户启动服务#1,ck 用户可登录echo clickhouse |password clickhou

2022-03-23 09:52:57 2048 3

原创 nacos 安装配置

文章目录1,下载编译后压缩包2,修改配置,启动服务2.1 standalone模式2.2 cluster 模式1,下载编译后压缩包参考文档: https://nacos.io/zh-cn/docs/cluster-mode-quick-start.html2,修改配置,启动服务2.1 standalone模式sh bin/startup.sh -m standalone2.2 cluster 模式#1,集群配置文件: 请每行配置成ip:port(请配置3个或以上节点)[root@c7

2022-03-03 17:29:08 1789

原创 hive脚本分析:加载第三方jar包

1, hive安装目录[root@bigdata4 ~]# tail /export/hive/conf/hive-env.shexport HADOOP_HEAPSIZE=2048export HADOOP_CLIENT_OPTS="-Xmx2g -Xms2g -Djava.net.preferIPv4Stack=true $HADOOP_CLIENT_OPTS"HADOOP_HOME=/export/hadoopHADOOP_CONF_DIR=/export/common/hadoop/con

2022-02-23 18:26:45 1780

原创 canal: mysql数据实时同步kafka

文章目录1,环境准备:zk, kafka, mysql-mastermysql启用binlog2, 启动zk, kafka2,安装配置canal3,测试使用官网介绍:https://github.com/alibaba/canal/wiki/Introduction1,环境准备:zk, kafka, mysql-master角色IPmysql-master192.168.56.1 (windows)zk, kafka, canal1,canal2192.168.56.7

2022-02-14 15:27:20 917

原创 OLAP引擎:clickhouse, presto

1, clickhousea, 安装服务sudo yum install yum-utilssudo rpm --import https://repo.clickhouse.com/CLICKHOUSE-KEY.GPGsudo yum-config-manager --add-repo https://repo.clickhouse.com/rpm/stable/x86_64sudo yum install clickhouse-server clickhouse-client/etc/in

2021-12-28 16:20:14 2376

原创 配置sftp服务

文章目录1, 修改ssh配置2, 验证sftp登录1, 修改ssh配置[root@c7 ssh]# vim /etc/ssh/sshd_config# override default of no subsystems#Subsystem sftp /usr/libexec/openssh/sftp-server# Example of overriding settings on a per-user basis#Match User anoncvs# X11F

2021-12-27 13:47:50 1146

原创 ElasticSearch 安装IK分词器

1,ES安装ik分词器#1. ES安装IK分词器:ES版本:5.4.3 == IK分词器版本:5.4.3# ES-IK分词器下载:https://github.com/medcl/elasticsearch-analysis-ik/releases?page=12# https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v5.4.3/elasticsearch-analysis-ik-5.4.3.zip[root@

2021-12-17 10:12:10 2177

原创 opentsdb 安装使用

文章目录1,编译安装opentsdb启动服务1,编译安装opentsdb下载源码,编译:http://opentsdb.net/docs/build/html/installation.html[root@c73 ~]# git clone git://github.com/OpenTSDB/opentsdb.git[root@c73 ~]# cd opentsdb[root@c73 opentsdb]# lsAUTHORS build-bigtable.sh configure.a

2021-11-25 13:45:30 1546

原创 shell: 读取ini配置文件,解析长格式参数,设置字体颜色

使用awk 读取ini配置文件[root@c7 aa]# head -5 a.ini[MYSQL]DATABASE_NAME = wolf2DATABASE_USER = rootDATABASE_HOST = 127.0.0.1[REDIS]DATABASE_NAME = test[root@c7 aa]# awk -F ' = ' '/\[MYSQL\]/{a=1}a==1 && $1~/DATABASE_NAME/{print $2;exit}' a.iniwo

2021-11-22 17:44:01 934

原创 Rancher安装k8s: rke高可用集群

文章目录1,启动rancher2,页面创建k8s集群rke概念:https://docs.rancher.cn/docs/rancher2/cluster-provisioning/rke-clusters/_index/1,启动rancher考虑高可用(3节点3备份): mount -t glusterfs 192.168.56.7:/gluster_out1 /exportdocker run -d --restart=unless-stopped \ -p 8080:80 -p 44

2021-11-08 09:07:30 2629

原创 PostgreSQL初步使用: psql

文章目录1, 服务安装2, 客户端连接a, SQL语法:创建用户和所属数据库b, psql命令(允许远程连接)1, 服务安装安装文档:https://www.postgresql.org/download/linux/redhat/sudo yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpmsudo yum instal

2021-11-03 15:20:54 314

ck-3node-conf.tar.gz

clickhouse基于zookeeper的集群配置

2022-01-07

presto-cli-0.266.1-executable.jar

presto客户端

2021-12-28

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除