中间件
关注
分享
扫一扫
文章平均质量分 65
首席IT民工
编程才是真爱^_^
展开
-
【Chaos Mesh官方文档】(Physical Machine)Simulate Stress Scenarios
Simulate Stress ScenariosThis document describes how to use Chaosd to simulate stress scenarios. This feature generates CPU or memory stress on the host using stress-ng. You can create stress experiments either in command-line or service mode.Create stre翻译 2022-04-27 08:20:01 · 381 阅读 · 0 评论 -
【Chaos Mesh官方文档】(Physical Machine)Simulate Network Faults
This document introduces how to use Chaosd to simulate network faults. The simulations can be completed by modifying network routing and traffic flow control using iptables, ipsets, tc, etc.noteMake sure the NET_SCH_NETEM module is installed in the Linux翻译 2022-04-27 08:18:10 · 549 阅读 · 0 评论 -
Chaosd安装与使用
按照官方办法有少许问题,下面的脚本解决了# 创建存放chaosd的文件夹mkdir /usr/local/chaosd && \# 指定版本,此处使用最新版export CHAOSD_VERSION=latest && \# 下载,注意需要添加User-Agentcurl -fsSL -o chaosd.tar.gz https://mirrors.chaos-mesh.org/chaosd-$CHAOSD_VERSION-linux-amd64.tar.gz -原创 2022-05-10 19:43:24 · 1032 阅读 · 0 评论 -
【Chaos Mesh官方文档】Simulate Host Faults
Simulate Host FaultsThis document introduces how to simulate host shutdown faults using Chaosd.View the help information of host shutdown experimentsBefore creating a fault experiment, you can run the following command to view the help information of h翻译 2022-04-27 08:19:02 · 324 阅读 · 0 评论 -
【Chaos Mesh官方文档】Chaosd Introduction
Chaosd introductionChaosd is a Chaos Engineering testing tool provided by Chaos Mesh. You need to download and deploy it separately (see Download and deploy). It is used to inject faults into physical machine environments and also recover faults.Chaosd翻译 2022-04-26 23:38:00 · 454 阅读 · 0 评论 -
haproxy最新版本安装
目录原因卸载安装确定版本下载源代码原因centos7自带的是过期版本ubuntu2204虽然没过期,也是老版本官网只有enterprise才有升级这里选择使用源码安装的方式(这也意味着ubuntu和centos都是适用的)卸载安装确定版本下载源代码...原创 2022-05-08 11:02:06 · 1494 阅读 · 1 评论 -
Flink算子count
这里借助sum来实现count功能,得到的是Tuple2<PO,Integer>,其中PO是groupBy的几个字段,而Integer是count的结果,需要注意的是,会产生多条count记录,从1开始直至最大值DataStream<Tuple2<PO, Integer>> newStream = stream.map( new MapFunction<PO, Tuple2<PO, Integer>>() {原创 2021-11-29 16:01:31 · 1050 阅读 · 0 评论 -
Flink算子distinct
对于flink的stream没有原生的distinct方法,下面使用ValueState实现一个:SingleOutputStreamOperator<PO> newStream = stream.keyBy( new KeySelector<PO, PO>() { @Override public PO getKey(PO value) throws Exception { ret原创 2021-11-29 15:59:11 · 1913 阅读 · 0 评论 -
Incompatible types for sink column报错解决
由于Flink支持的数据类型有限,特别是LocalDate之类的还不支持,所以对于POJO中使用了这些类型,就需要自行指定.方法是在POJO class上添加org.apache.flink.api.common.typeinfo.TypeInfo里面指定一个类来处理这个POJO的各个字段的类型.下面是一个通用的类,代码如下@Data@NoArgsConstructor@AllArgsConstructor@TypeInfo(FlinkTypeInfoFactory.class)publi原创 2021-11-29 15:21:15 · 2787 阅读 · 0 评论 -
Flink Table&SQL
pom.xml<properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <flink.version>1.13.1</flink.version> <target.java.version>1.8</target.java.version> <scala.binary.version>2.1原创 2021-11-22 10:46:24 · 1493 阅读 · 0 评论 -
从Paxos到Zookeeper（四）客户端脚本与Znode
文章目录znodeZstat & Stat客户端脚本createlsgetsetdelete系统Znodeznodezookeeper的的功能可以看做是维护了一个树状数据结构，根节点是“/”，从外部观察，每个节点的信息都存在一个znode的数据结构里Zstat & Statznode的数据结构在zookeeper内部是通过Zstat来定义的，其代码如下package org.apache.zookeeper.server.jersey.jaxb;import javax.xm原创 2021-03-17 17:24:16 · 200 阅读 · 0 评论 -
从Paxos到Zookeeper（二）Two-Phase Commit & Three-Phase Commit
两阶段提交简单来看就是coordinator向participant发出了两次命令，第一次是prepare，第二次是commit或者rollback。其中第一次的prepare相当于一次预演，在确保大家都能成功的情况下才会提交，从而避免了大家不一致的情况。为了让预演时成功就能在第二阶段成功，这要求participant在prepare后不能再修改。三阶段提交时coordinator向participant发出了三次命令，第一次是canCommit，第二次是PreCommit或者abort，第三个是doC原创 2020-10-23 11:50:39 · 243 阅读 · 0 评论 -
Redis深度历险记(六)源码
文章目录Simple Dynamic String结构体embstr vs raw44扩容策略dictSimple Dynamic String书中的SDS的代码应该是示意用的,居然有泛型.实际上官方代码是根据平台有不同的.结构如下结构体struct __attribute__ ((__packed__)) sdshdr64 { uint64_t len; /* used */ uint64_t alloc; /* excluding the header and null term原创 2020-06-22 10:57:59 · 324 阅读 · 0 评论 -
Redis深度历险记(三)锁&事务
文章目录锁获取释放expire系统时钟各种key操作集群分布锁过期策略passive & active惊群maxmemory-policyLRUunlink事务原子性pipelinewatch锁先来官网说明:The SET command supports a set of options that modify its behavior:EX seconds – Set the specified expire time, in seconds.PX milliseconds – S原创 2020-06-18 16:16:08 · 301 阅读 · 0 评论 -
Redis深度历险记(四)作为MQ
PubSub & StreamPubSub简单队列模式订阅Streamid队列指令xaddmaxlenxdelxrangecountxlen消费指令无组xreadcountblockxgroupcreatexreadgroupxinfo高可用PubSub简单队列在Pub成功后进行Sub有时得不到消息,需要延迟以下在没有消息时Sub直接返回空而不会阻塞,也有阻塞的方法要先启动Sub,否则启动前的Pub发的信息收不到,另外如果Sub挂了Redis是不会补推的Redis重启时所有消息都会丢失,原创 2020-06-18 15:43:59 · 244 阅读 · 0 评论 -
Redis深度历险记(二)管理
文章目录RESP持久化rdbaof重写fsync备份事务原子性pipelinewatchPubSub & Stream简单队列模式订阅内存优化32bit vs 64bitziplist intset内存回收RESPRedis Serialization ProtocolRedis协议将传输的结构分为5种最小单元类型,单元结束时同一加上回车换行符号\r\n单行字符串以"+"符号开头多行字符串以"$"符号开头,后跟字符串长度整数值以":"符号开头,后跟整数的字符串形式错误消息以"-"符原创 2020-06-18 14:11:52 · 197 阅读 · 0 评论 -
Redis深度历险记(一)基础
文章目录install基础数据结构stringset引号Options锁获取释放existsexpire系统时钟各种key操作过期算法集群listquicklistrpush rpop lpop lpushlindex lrange ltrim llenblpop brpophashsetzsetzrange zrevrangezcard限流滑动窗口HyperLogLogBloom FilterGeoHashkeys vs scanrehash大key的查找本篇是对"Redis深度历险"的学习与思考Re原创 2020-06-18 11:04:32 · 418 阅读 · 0 评论 -
CentOS7.6上源码安装Redis5
CentOS7.6上源码安装Redis5redis5提供了更好的集群模式，但是centos7.6上还无法yum安装就只好源码安装了。wget http://download.redis.io/releases/redis-5.0.3.tar.gztar -xzvf redis-5.0.3.tar.gzcd redis-5.0.3.tar.gzmakemake testmake ins...原创 2019-01-22 09:30:42 · 597 阅读 · 1 评论 -
CentOS7下Redis的安装
第一步,安装EPEL,直接第二步会报错Loaded plugins: fastestmirrorLoading mirror speeds from cached hostfile* base: centos.sonn.com* extras: mirror.supremebytes.com* updates: mirrors.cat.pdx.eduSetting up Instal原创 2016-12-09 11:05:01 · 1261 阅读 · 0 评论 -
kettle对接hive
kettle没有自带hive的驱动,如果在界面上直接选Hadoop Hive 2/3会报找不到驱动的错误.按照网上的解决方案修改了plugins文件夹里的配置文件后仍然无法解决.还是需要把驱动jar放入kettle里才可以.docker cp /opt/hive/jdbc/hive-jdbc-2.3.2-standalone.jar hive-jdbc-2.3.2-standalone.jar...原创 2020-05-07 16:52:42 · 1032 阅读 · 3 评论 -
Netty in Action
ChannelHandlerAdapter also provides the utility method isShareable(). This method returns true if the implementation is annotated as shareable Indicating that it can be added to multiple channelpipe...原创 2020-03-02 10:57:47 · 185 阅读 · 0 评论 -
Flink整合Kafka&Debezium（三）流转换为表
提取json加入maven依赖 <dependency> <groupId>com.jayway.jsonpath</groupId> <artifactId>json-path</artifactId> <version>2.2.0</version> </dependency&...原创 2020-01-09 10:34:05 · 1964 阅读 · 0 评论 -
一键启动Debezium+Kafka+Flink
编写配置文件docker-compose.ymlversion: "3.3"services: database: image: debezium/postgres:11 container_name: database ports: - "5432:5432" environment: - POSTGRES_PASSWORD=mim...原创 2020-01-06 09:59:46 · 1085 阅读 · 0 评论 -
flink整合kafka&Debezium(一）项目启动
Debezium的搭建参见之前的blog使用docker启动一套Flink的搭建这里参考官方docker方式创建目录mkdir flinkvi docker-compose.yml黏贴以下配置version: "2.1"services: jobmanager: image: ${FLINK_DOCKER_IMAGE_NAME:-flink} expose:...原创 2020-01-02 22:14:24 · 3381 阅读 · 1 评论 -
debezium搭建
目录docker单节点版本创建zookeeperkafkapostgresqlconnectorconnect监听消息查看topic监听消息docker单节点版本创建zookeeper docker run -d --name zookeeper -p 2181:2181 -p 2888:2888 -p 3888:3888 debezium/zookeeper:0.10 kafkad...原创 2019-10-25 16:29:50 · 2992 阅读 · 0 评论 -
Nginx常用命令
nginx -s reload ：修改配置后重新加载生效nginx -s reopen ：重新打开日志文件nginx -t -c /path/to/nginx.conf 测试nginx配置文件是否正确关闭nginx：nginx -s stop :快速停止nginx quit ：完整有序的停止nginx其他的停止nginx 方式：ps -ef | grep n...原创 2018-08-18 15:18:19 · 245 阅读 · 0 评论 -
Activiti(1)---学习遇到的坑总结
异常子过程需要异常事件的触发,UserTask是不会触发异常事件的,serviceTask会,在designer中将boundaryEvent中ErrorBoundaryEvent拖到一个ServiceTask上ErrorBoundaryEvent可以指向一个Task也可以是EventSubProcess,所以当从ErrorBoundaryEvent拖出箭头时要指好,不要链接错了貌似需...原创 2018-08-26 15:58:50 · 601 阅读 · 0 评论 -
CentOS下搭建Nginx
首先安装 yum install nginx -y然后直接nginx启动 在Nginx做代理转发的时候要注意是否有/ 下面说一个nginx的权限问题(Permission denied)解决办法failed (13: Permission denied) while reading upstream查看nginx进程ps aux|grep nginx发现都是nobody的...原创 2018-08-26 16:00:19 · 175 阅读 · 0 评论 -
[Deprecated]RabbitMQ集群搭建
RabbitMQ集群搭建单机版安装基础组件安装erlang的安装rabbitmq的安装开启插件允许远程访问控制台启动集群搭建单机版安装基础组件安装yum install -y openssl-devel unixODBC-devel gcc-c++erlang的安装由于最新的rabbitmq要求erlang在19以上，所以从官网下载安装。所有erlang的地址在 官网下载合集，我使用的......原创 2019-01-23 17:50:04 · 365 阅读 · 0 评论 -
Zookeeper集群搭建
官网http://zookeeper.apache.org/doc/r3.5.5/zookeeperStarted.html前提条件安装javaapt install -y openjdk-11-jre-headless下载https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/stable/ 清华的镜像下载稳定版后加压并修改配置文...原创 2019-07-15 20:31:36 · 151 阅读 · 0 评论 -
Flink集群搭建
免密登录虽然网上没说，但是看后面集群启动时的操作来看是做了免密登录的。安装及配置下载并配置集群wget http://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.8.1/flink-1.8.1-bin-scala_2.12.tgz && tar -zxvf flink-1.8.1-bin-scala_2.12.tgz ...原创 2019-07-30 08:02:30 · 405 阅读 · 0 评论 -
Kafka集群搭建
前置条件zookeeper启动命令wget http://mirror.bit.edu.cn/apache/kafka/2.3.0/kafka_2.12-2.3.0.tgz && tar -zxvf kafka_2.12-2.3.0.tgz && cd kafka_2.12-2.3.0 && vi config/server.propertie...原创 2019-07-22 20:17:44 · 145 阅读 · 0 评论 -
搭建XXL调度中心
快速版mysqldocker run --name mysql -d --restart=always -p 3306:3306 -p 33060:33060 -e MYSQL_ROOT_PASSWORD=root_pwd mysql注意root_pwd是xxl的配置文件里的密码，如果这里不一样则需要再xxl-job-admin里启动时指定密码初始化数据库官方mysql脚本xxl-a...原创 2019-09-27 15:38:00 · 352 阅读 · 0 评论 -
Nginx学习笔记
一个很好用的命令是nginx -t用来找到配置文件的位置，一般是在/usr/local/nginx/conf/nginx.conf这个位置当然一个正确的做法是吧各种配置写在/usr/local/nginx/vhosts/下的*.conf里（这个路径是由上面的配置文件指定的）nginx -s reload ：修改配置后重新加载生效nginx -s reopen ：重新打开原创 2017-06-24 14:25:46 · 315 阅读 · 0 评论