GPFXTX的博客

运行环境中需要支持python2.6 2.7环境的etcdclient,etcd版本为3.4，采用社区的包，由于会引用grpc包，导致import包很慢，测试中发现就引入包用了0.6-0.8S，所要开发的代码是一个实时采集程序，所以决定使用etcd开放的restful api，自己封装一个client,目前只实现了部分接口代码如下，记录下#!/usr/bin/env python# -*- coding: utf-8 -*-# @Time : 2020/8/10 17:05# @Auth.

从MySQLDb 1.2.5开始支持read_timeout，这个值你会发现设置的值，一般返回结果为这个值的3倍，原因就是mysql本身会重试两次，记录下

作为一名MySQL DBA，首要的任务是维持数据库的可用性和稳定性，在生产中，有时候一条慢SQL会拖垮整个系统的响应和体验，所以慢SQL治理至关重要。文章目录前期准备MYSQL 慢sql参数解析和调整pt-query-digest工具简介安装和使用pt-query-digest一些用法和解析pt-query-digest 一些用例直接解析入库的方案：参考解析命令参考表结构：参考python ...

一种方法是比较保守的.直接把老库的内容mysqldump到新库里面还有一种类似上面方法.先alter table 的存储引擎到MyISAM,然后改了库目录的名字,然后再改回来INNODB.最后一种方法还是比较好的.这边详细写一下.假设源库名是’srcdb’,目标库名是’trgdb’首先创建目标库create database trgdb;获取所有源库的表名use informatio...

hadoop集群搭建首先需要JAVA环境，还有要zookeeper集群，可以参考JAVA和zookeeper安装文档准备软件准备请到hadoop官网下载hadoop2.7.5版本：https://hadoop.apache.org/releases.html，可以下载binary包直接安装hadoop-2.7.5.tar.gz，或者下载source包编译安装环境准备服务器列表：10...

软件准备到https://packagecloud.io/Altinity/clickhouse下载适合自己服务器版本的RPM包clickhouse-client-18.12.13-1.el6.x86_64.rpmclickhouse-common-static-18.12.13-1.el6.x86_64.rpmclickhouse-compressor-1.1.54336-3.el6.x...

安装hive之前先搭建好hadoop集群、mysql元数据库软件准备到官网下载hive软件包apache-hive-2.3.2-bin.tar.gz安装tar -xivf apache-hive-2.3.2-bin.tar.gz -C /usr/localmv apache-hive-2.3.2-bin hive2配置hive-env.shexport JAVA_HOME=/u...

Elasticsearch安装需要先配置好Java环境，Java环境可以参考JDK安装教程准备：软件准备：去官网下载elasticsearch6.3.1:https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.3.1.tar.gz硬件准备：硬件配置：16C 32G 1024G10.242.154....

在安装storm之前先要安装好JDK和zookeeper准备机器准备：10.242.167.193 (nimbus)10.242.167.194 (nimbus)10.242.167.195 (supervisor)10.242.167.196 (supervisor)10.242.167.197 (supervisor)10.242.167.198 (zk)10.242.1...

服务器准备rabbitMq主备需要两台；haproxy和keepalived共用或者分开，需要两台或者4台服务器，VIP一个，用于LVS分发软件准备需要准备软件：rabbitMq3.6.15：rabbitmq-server-generic-unix-3.6.15.tar.xz；haproxy1.5.9：haproxy-1.5.9.tar.gz；keepalived1.2.7: keepali...

在配置完Java开发环境和MAVEN后，我们来建立项目STS（Eclipse）下载请到官网http://spring.io/tools/sts/all/ 下载STS最新版 然后放到G盘，然后解压到当前 G:\sts-bundle\sts-3.9.5.RELEASE\STS.exe就可以启动软件 该版本的STS需要JDK1.8的环境，有时候我们项目开发是使用JDK1...

安装maven之前请先确保已经安装配置过JAVA环境,，可以去https://blog.csdn.net/GPF19950411/article/details/79428997 浏览软件准备和安装：请到http://maven.apache.org/download.cgi 下载最新版本的maven，或者去https://download.csdn.net/download/g...

Spark 支持三种模式的部署方法，分别为standalone、yarn、mesoss, 这篇主要讲述yarn的部署方法一、准备1.1 说明：选spark的时候要注意与hadoop版本对应；spark基于yarn来管理，spark只能安装在NodeManager节点上1.2 服务器资源准备本地已经搭建了7节点的hadoop(HA)集群10...

Mysql varchar建索引遇到长度太长的问题： CREATE TABLE `t_crrs_record` ( `ID` varchar(128) NOT NULL COMMENT '主键ID', `SYSTEM_CODE` varchar(32) DEFAULT NULL COMMENT '编码', `BUSINESS_ID` varchar(12...

KafkaOffsetMonitor是一个可以用于监控Kafka的Topic及Consumer消费状况的工具，其配置和使用特别的方便。源项目Github地址为：地址 下载KafkaOffsetMonitor-assembly-0.2.1.jar，然后ftp到kafka服务器10.242.167.216上cd /opt/kafka编写启动脚本：vim monitor-kafka.sh...