tiandao321的专栏

原创 ahk发送邮件

ahk发送邮件

原创 tidb数据库binlog同步mysql数据

TiDB 整体架构要深入了解 TiDB 的水平扩展和高可用特点，首先需要了解 TiDB 的整体架构。TiDB 集群主要包括三个核心组件：TiDB Server，PD Server 和 TiKV Server。此外，还有用于解决用户复杂 OLAP 需求的TiSpark组件和简化云上部署管理的TiDB Operator组件。TiDB ServerTiDB Server 负责接收...

原创 使用Docker快速搭建Kafka开发环境

搭建开发环境1 ZooKeeper 1 Kafka这里以我自己最常用的wurstmeister/kafka为例，使用docker-compose运行一个只有一个ZooKeeper node和一个Kafka broker的开发环境：version: '2'services: zoo1: image: wurstmeister/zookeeper resta...

原创 docker 镜像加速器

1. 安装／升级Docker客户端推荐安装1.10.0以上版本的Docker客户端，参考文档docker-ce2. 配置镜像加速器针对Docker客户端版本大于 1.10.0 的用户您可以通过修改daemon配置文件/etc/docker/daemon.json来使用加速器sudo mkdir -p /etc/dockersudo tee /etc/doc...

原创 netty websocket配置wss

测试的时候使用netty websocket正常在正事环境报错The page at 'https://xxxxxx/h5/#/chatIM' was loaded over HTTPS, but attempted to connect to the insecure WebSocket endpoint 'ws://192.168.0.50:9090//websocket'. This re...

原创 docker-容器间通过宿主机IP间接通信

容器间通过宿主机IP间接通信Nginx容器和php-fpm容器通信问题焦点容器如何获取宿主机docker0网卡IP？通过容器/etc/profile(hosts)文件下面2条命令是等效的--add-host host:$(ip -4 addr show docker0 | grep -Po 'inet \K[\d.]+')\--add-host host:$(/sbin/i...

原创 docker zookeeper

使用 Docker 一步搞定 ZooKeeper 集群的搭建背景原来学习 ZK 时, 我是在本地搭建的伪集群, 虽然说使用起来没有什么问题, 但是总感觉部署起来有点麻烦. 刚好我发现了 ZK 已经有了 Docker 的镜像了, 于是就尝试了一下, 发现真是爽爆了, 几个命令就可以搭建一个完整的 ZK 集群. 下面我简单记录一下使用 Docker 搭建 ZK 集群的一些步骤.镜像下...

转载 docker 网络

Docker允许通过外部访问容器或者容器之间互联的方式来提供网络服务。容器启动之后，容器中可以运行一些网络应用，通过-p或-P参数来指定端口映射。注意：宿主机的一个端口只能映射到容器内部的某一个端口上，比如：8080->80之后，就不能8080->81容器内部的某个端口可以被宿主机的多个端口映射,比如：8080->80，8090->80,8099->80...

原创 安装harbor

官网下载离线安装包harbor-offline-installer-v1.7.5.tgz解压进入目录安装报错需要先安装docker-compose环境首先安装epelyum install -y epel-release然后安装yum install -y python-pip最后pip install docker-compose可能会报错pip...

原创 分布式链路跟踪 skywalking

首先要知道的是skywalking的原理 ,为什么可以实现对程序完全没有侵入性,了解字节码增强,引申出java的动态代理 以及其他使用动态代理的框架下面来说配置skywalking 分为agent,collector ,webui 后台数据可以传入es ,h2,或mysql首先安装es1、JDK8+2、Elasticsearch 5.x...

原创 Esearch

Esearch安装文档1：安装步骤一：安装RPM软件包rpm --install elasticsearch-6.5.1.rpm二：修改配置文件vim /etc/sysconfig/elasticsearchJAVA_HOME=/home/java/jdk1.8.0_181三：启动Esearchservice elasticsearch st...

原创 Codis与Redis Cluster集群方案对比

Codis与RedisCluster集群方案对比 Codis RedisCluster 数据库数量 16 1 客户端支持 All SmartClient Redis版本 ...

转载 如何解决Redis雪崩、穿透、并发等5大难题

缓存雪崩数据未加载到缓存中，或者缓存同一时间大面积的失效，从而导致所有请求都去查数据库，导致数据库CPU和内存负载过高，甚至宕机。比如一个雪崩的简单过程：1、redis集群大面积故障2、缓存失效，但依然大量请求访问缓存服务redis3、redis大量失效后，大量请求转向到mysql数据库4、mysql的调用量暴增，很快就扛不住了，甚至直接宕机5、由于大量的应用服务依赖m...

转载 spring boot注解

Spring Boot 最核心的 25 个注解1、@SpringBootApplication这是 Spring Boot 最最最核心的注解，用在 Spring Boot 主类上，标识这是一个 Spring Boot 应用，用来开启 Spring Boot 的各项能力。其实这个注解就是 @SpringBootConfiguration、@EnableAutoConfigurat...

原创 jenkins 本地安装与配置

1.首先安装jdk环境2.官网下载jenkins.jar直接启动jar 首次登入需要秘钥 ,去日志文件中找等待初始化一会之后,还需要安装一下常用的插件 之后注册第一个管理员用户以后就可以进到页面里面了下一步安装需要的插件Gitlab Hook、Build Authorization Token Root、Publish Over SSH、Gitlab Aut...

原创 个人虚拟机安装地址与目录

192.168.0.200 mysql8 redis jenkins maven git192.168.0.201 apollo192.168.0.202 gitlab (docker 192.168.1.202:8888 root/密码)192.168.0.207 mysql8

原创 gitlab docker安装部署 后续cicd待续

下载Gitlab景象配置好加速器之后，下载就很快了。直接执行下面的命令，稍等片刻之后，Docker就会将Gitlab下载好了。docker pull gitlab/gitlab-ce:latest启动Gitlab用下面的命令启动一个默认配置的Gitlab。如果我们只在本机测试使用的话，将hostname替换为localhost。如果需要让外部系统也能访问的话使用...

原创 gitlab 介绍与本地安装

Gitlab代码库说明Gitlab背景以前我们使用GitLite进行代码管理，并无可用管理界面和组件(plugins),导致配置自动化CI/CD无法实现，改用Gitlab进行代码库管理。Gitlab应用场景使用Gitlab搭配SonarQube和Jekins，实现代码自动审查、自动打版功能和最终的自动发布功能，减少人工干预和预知错误处理。Gitlab简介GitLab ...

原创 在 SpringBoot 中使用 @EnableScheduling、@Scheduled 轻松实现定时任务

boot定时任务在 main 中开启定时任务的注解 @EnableScheduling@Slf4j@EnableAsync@EnableScheduling@EnableAspectJAutoProxy//注入 Web配置和性能监控Aop等配置@Import(value = {ApolloConfig.class, WebConfig.class, ...

原创 linxu 部署springboot jar 包 mvn打包命令

首先应该在主项目下 mvn clean package -Pdev  -Dmaven.test.skip=true   打包发布主项目下所有子项目 不然可能有的包引入的不是最新的版本 mvn clean package -Pdev -DskipTest//忽略测试文件mvn clean package -Pdev  -Dmaven.test.skip=true//忽略测试文件kil...

原创 k8s手动安装 1master 2node

https://github.com/unixhot/salt-kubernetes

原创 idea 新增方法带着参数

转载 ThreadPoolExecutor：线程池不允许使用Executors创建

https://blog.csdn.net/qq_21870555/article/details/80923389

原创 设计模式 策略模式

策略模式是对算法的包装，是把使用算法的责任和算法本身分割开来，委派给不同的对象管理。策略模式通常把一个系列的算法包装到一系列的策略类里面，作为一个抽象策略类的子类。用一句话来说，就是：“准备一组算法，并将每一个算法封装起来，使得它们可以互换”。这个模式涉及到三个角色：● 环境(Context)角色：持有一个Strategy的引用。● 抽象策略(Strategy)角色：这是一个抽象角...

转载 tidb 美团优化转载

https://www.v2ex.com/t/508094tidb集群复用同时，在 kv 存储层没有瓶颈的时候，采用复用了集群的 kv 层的策略，在无状态的 Server 层做了业务隔离，间接的提升了整个集群的使用率，类似一个 DBaaS 的服务（图2）。  这个什么意思没明白,不太清楚tidb server能做什么事情.    TiDB 支持包括跨行事务、JOIN...

原创 twitter id 算法

https://segmentfault.com/a/1190000015356486转载的zk实现

原创 tidb与mysql_mycat对比

TiDB 具备如下特性：高度兼容 MySQL大多数情况下,无需修改代码即可从 MySQL 轻松迁移至 TiDB，分库分表后的 MySQL 集群亦可通过 TiDB 工具进行实时迁移。2.水平弹性扩展通过简单地增加新节点即可实现 TiDB 的水平扩展，按需扩展吞吐或存储，轻松应对高并发、海量数据场景。3.分布式事务TiDB 100% 支持标准的 ACID 事务。4.真正金融级...

原创 扩展Redis的Jedis客户端，哨兵模式读请求走Slave集群

Redis哨兵模式，由Sentinel节点和Redis节点组成，哨兵节点负责监控Redis的健康状况，负责协调Redis主从复制的关系。本文不详细讨论Redis哨兵模式，关于哨兵的详细介绍可以参考（https://blog.csdn.net/u010297957/article/details/55050098） 在使用哨兵模式以后，客户端不能直接连接到Redis集群，而是连接到哨兵集...

原创 centos7 安装docker

////查看内核版本uname -r //使用 root 权限登录 Centos。确保 yum 包更新到最新 yum update//卸载旧版本(如果安装过旧版本的话)yum remove docker docker-common docker-selinux docker-engine//安装需要的软件包， yum-util 提供yum-config-manager...

原创 修改Maven源地址为阿里源 修改仓库地址

默认的Maven源为国外，下载速度非常慢，修改成阿里源可提高速度（1）找到 apache-maven-3.5.2\conf 目录中的 settings.xml 文件（2） 修改maven 本地仓库地址,       首先在D:\Program Files创建文件夹MavenRepository ；       找到settings.xml 文件中  <localReposit...

原创 Spring & boot注解大全

@ResponseBody是作用在方法上的，@ResponseBody 表示该方法的返回结果直接写入 HTTP response body 中，一般在异步获取数据时使用【也就是AJAX】，在使用 @RequestMapping后，返回值通常解析为跳转路径，但是加上 @ResponseBody 后返回结果不会被解析为跳转路径，而是直接写入 HTTP response body 中。 比如异步获取 j...

转载 Java分布式跟踪系统Zipkin（一）：初识Zipkin

在2010年，谷歌发表了其内部使用的分布式跟踪系统Dapper的论文，讲述了Dapper在谷歌内部两年的演变和设计、运维经验。Twitter也根据该论文开发了自己的分布式跟踪系统Zipkin，并将其开源。 论文地址：http://static.googleusercontent.com/media/research.google.com/zh-CN/archive/papers/dapper-2...

转载 twitter id生成算法snowflake详解

1 概述分布式系统中，有一些需要使用全局唯一ID的场景，这种时候为了防止ID冲突可以使用36位的UUID，但是UUID有一些缺点，首先他相对比较长，另外UUID一般是无序的。为了满足Twitter每秒上万条消息的请求，每条消息都必须分配一条唯一的id，这些id还需要一些大致的顺序（方便客户端排序），并且在分布式系统中不同机器产生的id必须不同。2 结构snowflake生成64的id，...

原创 centos 屏保小程序cmatrix

https://github.com/abishekvashok/cmatrix/releases 网址下载tar.gz包解压编译等等    cmatrix命令运行cmatrix常用命令如下:cmatrix-a :异步滚动（默认）cmatrix-b :随机粗体cmatrix-B :全部粗体cmatrix-o :使用旧风格滚动cmatrix-x :X window 模...

原创 Nginx与Tomcat性能调优，前后端KeepAlive不同步引发的问题

在http1.1中可以配置服务器端开启keepalive与客户端保持长连接进行优化，这里不过多解释。我们在nginx.conf配置  upstream favtomcat { server 192.168.80.112:8080; keepalive 20; }keepalive_timeout 65s;keepalive_requ...

原创 linux rzsz(lrzsz)安装 文件上传下载

lrzsz 官网入口：https://ohse.de/uwe/software/lrzsz.htmllrzsz是一个unix通信套件提供的X，Y，和ZModem文件传输协议,可以用在windows与linux 系统之间的文件传输，体积小速度快。感觉可以替代ftp了lrzsz 在线安装：yum -y install lrzsz// 上传文件rz// 下载文件sz...

原创 SpringBoot Centos6.x 设置为系统服务

1、首先修改pom.xml  <executable>true</executable> 这样编译的jar会包含shell脚本 <plugin> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-maven-pl...

原创 java 连接mysql8.0 以及ssl配置

需要新驱动mysql-connector-java-8.0.11    名称com.mysql.cj.jdbc.Driver  新驱动必须jdk1.8连接串也要改jdbc:mysql://101.132.183.129:3306/znmgr?useUnicode=true&serverTimezone=UTC&useUnicode=true&...

原创 安装haproxy负载mysql

haproxy是一个使用C语言编写的自由及开放源代码软件，其提供高可用性、负载均衡，以及基于TCP和HTTP的应用程序代理。首先要把selinux关掉 不知道为什么这个以后在研究  然后为了方便防火墙也关了 一、haproxy下载 去官网：http://www.haproxy.org/下载 或者在选择好版本后，使用wget下载，比如这里使用的是1.7.5wget http://ww...

转载 mysql彻底卸载

查看是否安装了MySQL执行命令rpm -qa | grep mysql1执行过程[root@localhost ~]# rpm -qa | grep mysqlmysql-community-libs-5.7.19-1.el7.x86_64mysql-community-server-5.7.19-1.el7.x86_64mysql-community-common-5....