- 博客(68)
- 收藏
- 关注
RSS订阅原创 AlterManager绑定Prometheus监控告警
一、简介一个独立的告警模块，接收Prometheus等客户端发来的警报，之后通过分组、删除重复等处理，并将它们通过路由发送给正确的接收器；告警方式可以按照不同的规则发送给不同的模块负责人，Alertmanager支持Email, Slack，等告警方式, 也可以通过webhook接入钉钉等国内IM工具二、下载alertManager#创建alertManager目录mkdir /home/prometheus#进入目录cd /home/prometheus#下载wget http://
2021-10-25 17:48:10
558
原创 minio分布式安装
分布式分布四台服务器，每台服务器三个磁盘，每台服务器的配置一致下载minio二进制文件#创建minio目录mkdir /opt/module/minio#进入minio目录cd /opt/module/minio#下载miniowget https://dl.minio.io/server/minio/release/linux-amd64/minio#增加权限chmod +x minio#移动至/usr/local/binmv minio /usr/local/bin/创建环境
2021-10-22 14:06:28
302
原创 Grafana + prometheus + node_exporter安装
一、组件node_exporter可以理解为zabbix的 zabbix-agentprometheusGO语言开发的一套开源的系统监控报警框架grafana开源数据可视化工具，可以做数据监控和数据统计，带有告警功能二、版本组件版本node_exporter0.18.1prometheus2.19.2grafana8.2.1三、node_exporter安装3.1下载node_exporter#创建prometheus目录mkdir /hom
2021-10-22 11:11:06
416
原创 OLAP之ClickHouse讲解
前言首先Clickhouse在大方向上属于OLAP，列式存储，MPP。也就是指这三者的基础概念，属于前置知识，如果未曾了解，那么关于接下来对ClickHouse的认知与学习则事倍功半。固穿插一部分前置知识，如果已经有所了解则跳过。OLAPOLAP与OLTP提到OLAP，总是会与OLTP做比较。OLTP联机事务分析联机事务分析，强调事务性，并发。微量查询，每秒钟的查询次数较多，数百个甚至过千。SQL语句提交频繁，强调ACID。大多应用于传统的银行证券交易行为，针对某行数据的增删改查
2021-09-08 15:07:07
946
原创 磁盘挂载多块磁盘挂载同一目录
进行新磁盘挂载，六块磁盘为一个目录(1) 记录磁盘信息#查看磁盘信息fdisk -l#记录磁盘信息/dev/sda/dev/sdb/dev/sdc/dev/sdd/dev/sde/dev/sdf(2) 创建物理卷pvcreate /dev/sdapvcreate /dev/sdbpvcreate /dev/sdcpvcreate /dev/sddpvcreate /dev/sdepvcreate /dev/sdf(3) 创建卷组#卷组名自定义vgcreate 卷组
2021-09-01 13:25:00
2923
原创 Zabbix空环境安装
安装版本Zabbix版本OS分布OS版本数据库web5.0Centos7postgresNginx准备工作防火墙#查看防火墙状态systemctl start firewalld.service#关闭防火墙systemctl stop firewalld.serviceSELinuxSELinux有三个状态Enforcing 强制——策略强制执行，基于 SELinux 策略规则授予或拒绝主体对目标的访问Permissive 宽容—— SELin
2021-09-01 10:37:01
280
原创 IT运营之itop
centos7下Mysql5.7.29，PHP72W环境安装itop2.7.5一、组件版本Mysql8版本与php5.6版本存在密码解析冲突，手动修改无效，需要初始化时指定密码解析为 mysql_native_passwordMysql5.7版本与php5.6版本存在Missing PHP extension(s): mysqli. ，依赖问题，解决较为繁琐。HeaderHeaderMysql5.7.29Phpphp72wITop2.7.5二、mysq
2021-08-25 17:42:51
690
原创 mysql5.7.29远程赋权与启动踩坑
问题一Duplicate entry '%-root' for key 'PRIMARY'select user,host from user;查看是否已经有 host为’%'的root用户#刷新mysqlflush privileges;#删除掉host为localhost的用户delete from user where user = ‘root’ and host = ‘localhost’;#再次刷新，重启mysql即可flush privileges;...
2021-08-25 11:28:53
222
原创 记录一次postgres初始化编码非中文
postgres有两种初始化方式service postgresql initdb直接在控制台使用这样的方式默认使用的是国际化格式编码为:SQL_ASCII排序等为:csu postgres下初始化在postgres用户下使用initdb -D /data/psql/data -E EUC_CN --locale=en_US.UTF-8 -U postgres -W-E EUC_CN --locale=en_US.UTF-8 可有可无，指定的是编码以及排序等，默认使用本地locale
2021-08-19 10:46:15
153
原创 启动postgres报错
错误信息Job for postgresql.service failed because the control process exited with error code. See "systemctl status postgresql.service" and "journalctl -xe" for details.根据提示执行 systemctl status postgresql.service打开这个文件vim /usr/lib/systemd/system/postgres
2021-08-19 10:15:45
1322
原创 sql实现四舍五入保留两位小数，小数不足自动补0
roundround实现四舍五入(小数位>2)select round(123.4567,2)round(小数位小于2)select round(123.4,2)round小数位小于2，不足补0select round(123,2) || ''cast (xx as decimal( x, x))cast 保留两位小数(直接隔断，小数位大于2)select cast(123.456 as decimal(20,2))cast 小数位小于2select c
2021-08-05 11:17:28
10007
原创 记录一条clickhouse查询表信息语句
查询clickhouse数据库查询clickhouse表名查询clickhouse所占磁盘大小查询clickhouse原始大小查询clickhouse压缩大小查询clickhouse压缩率查询clickhouse行数查询clickhouse存在天数查询clickhouse平均每天数据量大小select database as `数据库`, table as `表名`, formatReadableSize(size) as `所占磁盘大小`, formatR
2021-07-26 16:51:27
1129
原创 记录一次clickhouse三台机器三分片双副本环绕部署(分布式集群多副本多分片)
IP192.168.0.81192.168.0.102192.168.0.1031 准备工作1.1 CentOS 取消打开文件数限制 （所有机器）在 /etc/security/limits.conf 的末尾分别加入以下内容：[root@ch1 ~]# vim /etc/security/limits.conf在文件末尾添加：* soft nofile 65536* hard nofile 65536* soft nproc 131072* hard n...
2021-07-23 14:43:51
2339
8
原创 记录一次Hadoop挂载磁盘过程，以及diskbalancer磁盘均衡
一、背景hadoop集群可用磁盘空间严重不足，204，205，206三台机器已用磁盘达96%。固新插入两块2.2T磁盘，短暂解决磁盘空间不足问题。二、linxu挂载磁盘两次步骤基本一致，更换盘名与挂载目录名即可#查看新插入磁盘名称fsdis -l#以ext3协议格式化(之前使用磁盘为这种形式)mkfs.ext3 /dev/新磁盘名称#创建要挂载的数据目录mkdir /data6#挂载至该目录mount /dev/磁盘名称 /data6#查看是否生效df -h##配置开机生效#
2021-07-23 13:29:45
704
原创 记录一次kafka connectos之erdemcer中的TOPIC无数据
无报错topic没有创建，也没有数据流动查看配置文件vim OracleSourceConnector.propertiestable.whitelist=对应的是否为大写，必须大写
2021-07-08 15:10:13
116
原创 hive练习面试题及详细步骤2
1.求出要求格式的数据数据20171011 1292 金色 120171011 1292 金色 1420171011 1292 金色 220171011 1292 金色 1120171011 1292 黑色 220171011 1292 粉金 5820171011 1292 金色 120171011 2013 金色 1020171011...
2021-07-07 19:29:59
121
原创 初识ajax核心
传统页面交互中的问题每一次浏览器与服务器进行通信都会导致整个页面的刷新，用户体验非常不好Ajax使用了异步通信方式 传统页面交互是同步通信异步是指发出数据后，必须等待响应结果，才可以发送下一条数据的通讯方式是指发出数据后，不需要等待响应结果，可继续发送下一条数据的通讯方式Asynchronous Javascript And XmlAjax由浏览器端发起与服务器交换少量数据并更新网页局部的网页异步通信技术传统交互方式1.通过地址栏回车或提交表单发同步请求2.
2021-07-07 19:29:28
177
原创 HBase Shell入门操作
在启动HBase服务前，确保hadoop和zookeeper都已经启动在进入HBase Shell操作前启动HBase服务bin/start-hbase.sh对应的停止服务 在停止zookeeper之前停止hbase，否则hbase会出现无法停止的状况bin/stop-hbase.sh进入HBase客户端命令行bin/hbase shell查看当前数据库中有哪些表list 新安装的HBase内是没有表的针对表的操作1.创建表c
2021-07-07 19:29:02
239
原创 mysql事务/索引/视图/数据库备份
事务是为保障数据操作可靠而独立执行的逻辑单元四个特性1原子性 Atomicity2一致性 Consistency3隔离性 Isolation4持久性 Durability事务提交方式 默认 手动提交事务管理事务的语句开启事务 begin提交事务 commit回滚事务 rollback查看事务状态show variables like'autocommit'关闭自动提交set autocommit=0/off;开启自动提交set autocommit=1/o
2021-07-07 19:28:18
81
原创 CDC之erdemcer
安装与下载前提是有可用的oracle与kafka##下载路径erdemcer/kafka-connect-oracle: Kafka Source Connector For Oracle (github.com)ORACLE准备工作##查看数据库模式如果已经为当前输出 则不需要进行开启归档模式步骤select log_mode from v$database;LOG_MODE------------------------------------ARCHIVELOGSQ
2021-07-07 19:25:23
141
2
原创 CDC之Debezium
#安装与下载安装前提备有可用的kafka与oracle下载debezium-connector-oracleInstalling Debezium :: Debezium Documentation##下载instantclientDebezium Connector for Oracle :: Debezium DocumentationOracle Instant Client Downloads解压下载好的包拷贝jar包至kafka lib目录下cp deb
2021-07-07 19:19:52
436
2
原创 记录一次kafka connectos之erdemcer启动报错
报错信息[2021-07-07 16:12:36,658] ERROR WorkerSourceTask{id=oracle-logminer-connector-0} Task threw an uncaught and unrecoverable exception (org.apache.kafka.connect.runtime.WorkerTask:177)java.lang.ArrayIndexOutOfBoundsException: 1 at java.util.Arrays$Arra
2021-07-07 16:24:47
381
原创 -bash: jps: command not found
如果是通过yum安装的jdk，需要安装 openjdk目前默认安装的版本为 1.8.0_291yum install java-1.8.0-openjdk-devel.x86_64 -y
2021-07-02 11:06:42
56
原创 记录一次kafka创建主题失败
报错信息Error while executing topic command : Replication factor: 3 larger than available brokers: 0.[2021-06-29 13:10:38,512] ERROR org.apache.kafka.common.errors.InvalidReplicationFactorException: Replication factor: 3 larger than available brokers: 0. (k
2021-06-29 13:33:56
913
原创 记录一次Linux系统下的kylin3.1.2完整搭建流程
百度网盘中链接：https://pan.baidu.com/s/10an1_acSCVkIOc7JCVDPqw提取码：w8h2内容包含准备工作JDK1.8.0_291安装Mysql5.7.19安装zookeeper-3.1.14安装(集群)Hadoop3.1.3安装(高可用)Hbase2.1.7安装(高可用)Hive3.1.2安装Kylin3.1.2安装Flink1.9.2安装与Flink1.13...
2021-06-28 09:41:16
265
3
原创 linux下postgresql9.2配置远程访问失败
防火墙已经关闭postgresql.conf文件中listen_addresses = '*'配置好pg_hba.conf文件中host all all 0.0.0.0/0 trust追加过但netstat -nultp查看 发现postgres为 127.0.0.0:5432 显然是没有远程访问通过find / -name ‘pgsql’ 发现有安装过一次失败记录 在/var/lib/pgsql目录.
2021-06-23 09:14:15
268
原创 flink1.13启动失败
缺少hadoop相关依赖，有的博主会下载一份2.6版本hadoop或者老版本flink，将依赖导入flink后发现提供一个包放入$FLINK_HOME/lib下即可flink-shaded-hadoop-2-uber-2.7.5-7.0https://repo.maven.apache.org/maven2/org/apache/flink/flink-shaded-hadoop-2-uber/2.7.5-7.0/flink-shaded-hadoop-2-uber-2.7.5-7.0.jarC.
2021-06-18 15:51:13
571
原创 Kylin构建过程出错
查看yarn，发现任务已经成功，但是kylin构建竟然失败kylin的build需要启动jobhistory进程，因为需要去历史进程中拿取结果去启动su hadoopcd $HADOOP_HOMEbin/mapred --daemon start historyserverjava.net.ConnectException: Call From kylin1/xxxx.xx.xx.xxx to kylin1:10020 failed on connection exception: java
2021-06-18 10:18:02
111
原创 centos7下mysql数据库初始化失败
缺少libaio.so.1yum install -y libaio再进行初始化bin/mysqld: error while loading shared libraries: libaio.so.1: cannot open shared object file: No such file or directory
2021-06-17 15:03:40
942
1
原创 linux ssh-copy-id或scp失败
服务器执行交换密钥之前配置过一次免密，服务器重置或者配置失误导致历史残留影响了重新配置cd /root/.ssh 将文件里的内容清空执行ssh命令ssh-keygen -t rsa 覆盖/root/.ssh/id_rsa时输入y确定，其他时候都直接确定或者在之前就删除这个文件ssh-copy-id hostname/ip/usr/bin/ssh-copy-id: INFO: Source of key(s) to be installed: "/root/.ssh/id_rsa.pub
2021-06-17 11:19:54
4707
3
原创 linux修改密码错误
---passwd：Authentication token manipulation error---因为掌管用户名与密码的文件，属性有i与a，所以无法直接修改，需要root用户解除lsattr /etc/passwdlsattr /etc/shadowchattr -i -a /etc/passwdchattr -i -a /etc/shadow再进行修改即可，如果修改后需要恢复chattr +i +a /etc/shadowchattr +i +a /etc/passwd
2021-06-16 17:17:22
161
原创 kylin启动出错 bin/check-env.sh
查看源码发现无法使用 hadoop version命令，可能只配置了sbin，没有配置binvim bin/check-env.shvim /etc/profile在 PATH追加 :$HADOOP_HOME/binsource /etc/profile source $(cd -P -- "$(dirname -- "$0")" && pwd -P)/header.sh ## ${dir} assigned to $KYLIN_HOME/bin in header.shs
2021-06-16 13:45:31
267
原创 mysql5.7.29安装失败
第一个问题权限不足，chmod 777 /var/lib/mysqlStarting MySQL.....The server quit without updating PID fil[FAILED]/mysql/data/mysqld.pid)查看日志2021-06-16T02:20:45.451444Z 0 [ERROR] Could not create unix socket lock file /var/lib/mysql/mysql.sock.lock.2021-06-16T02
2021-06-16 10:34:53
157
原创 HBase启动后主Master挂掉
集群觉得不够安全，所以把主节点干掉了增加配置项使用false为使用本地使用true为使用hdfshbase2版本以上为异步<!-- 集群环境下需要设置,因为配置了本地的dir --> <property> <name>hbase.unsafe.stream.capability.enforce</name> <value>false</value> </property>HBase’s
2021-06-15 21:14:28
260
1
原创 HBase分布式启动失败
某一个HMaster无法启动在HBASE_HOME/lib下找不到某个类还有一种可能是存放hbase日志的目录权限，不属于hadoop:hadoopcp lib/client-facing-thirdparty/htrace-core-3.1.0-incubating.jar lib/2021-06-15 20:25:16,717 ERROR [main] regionserver.HRegionServer: Failed construction RegionServerjava.lan
2021-06-15 20:49:11
181
原创 zkfc格式化失败
没有配置本地库vim /etc/profile#使其可以格式化zkfc,核心是加载本地库export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"source /etc/profile2021-06-15 17:30:42,969 WARN zookeeper.ClientCnxn: Session 0x0 for ser
2021-06-15 17:43:22
1567
原创 NameNode启动失败
未格式化nameNode，先进行格式化bin/hdfs namenode -formatjava.io.IOException: NameNode is not formatted. at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:250) at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFSImage(F
2021-06-15 17:29:48
697
原创 NameNode格式化报错
检查自己各节点的journalnode是否启动，只有一个journalnode启动成功2021-06-15 17:18:44,846 WARN namenode.NameNode: Encountered exception during format: org.apache.hadoop.hdfs.qjournal.client.QuorumException: Unable to check if JNs are ready for formatting. 1 successful response
2021-06-15 17:25:27
402
原创 记一次Hive踩坑
异常一com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/com.google.common.base.Preconditions.checkArgument对应的是guava-jre-jar也就是提示我们 HIVE_HOME/lib 下的guava-xx.xx.xx-jre-jar与Hadoop不匹配所以去HADOOP_HOME/share/hadoop/common/lib 目录下拷贝一份过来
2021-06-03 18:03:43
164
原创 Kylin启动出错
一、报错信息Retrieving hadoop conf dir…Error: Could not find or load main class org.apache.hadoop.hbase.util.GetJavaProperty二、原因分析无法加载HBase中的一些包，所以需要我们人工协助三、修改配置第一步，打开文件vim /usr/local/hbase/hbase-2.1.7/bin/hbase 楼主的路径是这样的vim $HBASE_HOME/bin/hbase第二步
2021-06-03 15:16:04
324
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人