- 博客(31)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 kafka常见面试题的总结-4
消息队列在什么情况下会丢失数据呢，如何保证数据不丢失？ broker服务端的丢失问题：由于只有一个副本，生产者在生产消息时候发送到broker还没来及进行持久化刷盘时,这时数据是保存在pageCache里面，broker突然宕机了，造成数据丢失 解决方案：进行broker高可用，给每个partition进行配置replication副本个数，生产者写入的时候首先根据分发策略写入leader中，并且follower 副本进行了备份同步，才认为是生产者发送成功 生产者丢失问题：由
2021-07-15 09:38:45
204
原创 kafka知识总结-3
关于 AR、ISR、OSR 名词的解释AR的解释 AR:分区中所有的副本，AR（Assigned Replicas——已分配的副本） AR = ISR+OR ISR 的解释 ISR:所有与leader保持一定程度同步的副本，(in - Sync-Replicas) 正在同步的副本 OSR 的解释 OSR:follower同步滞后过多的副本 ，OSR（Out-of-Sync Replias） 一般正常情况一下，所有的副本都会保持和leader同步的，所有OSR
2021-07-15 09:37:34
153
原创 kafka架构的知识点总结-2
kafka的幂等性 生产者在生产消息时，如果出现retry（重试）时，会出现一条消息多次发送。 开启幂等性配置 props.put("enable.idempotence",true); kafka如何实现幂等性的机制的呢？ 为实现生产者的幂等性，kafka 引入 producer Id(PID) 和 Sequence Number的概念。PID：每个Producer在初始化时，都会分配一个唯一的PID，这个PID对用户来说，是透明的。Sequence Numb
2021-07-15 09:35:38
307
原创 使用logstash全量同步mysql的数据到elasticsearch6并且结合canal实现实时增量同步elasticsearch6，以及遇到坑的记录
进入主题了，我们的目标是同步mysql的数据到elasticsearch中，如果是单单使用logstash的话，存在延迟一分钟的，又如果是使用canal的话，不能实现全量，所以只能结合两个一起用了，准备工具有 logstash-6.8.13,elasticsearch-6.8.13,kibana-6.8.13,mysql，canal-1.1.5，这些中间件都是提前准备好咯，安装过程就不再写，因为都很简单了，百度上也很多，第一步：配置mysql ，起开binlog的日志 和创建同步用户账号密码1.
2021-02-07 12:00:51
780
原创 关于的事务总结
最近闲着没事干，总结一下关于事务一些点，因为这个东西经常使用，所以有必要总结一下事务特点有总结：原子性：事务要么一起成功或者一起失败一致性：就是一组数据在sql执行之前和执行之后结果都一样和准确的隔离性：就是如果有多个事务同时执行相互不能干扰对方，不管A事务成功与否，都不能影响B事务执行结果持久性：事务成功了，就必须永久对数据的修改是有效的数据库事务隔离级别总结：1.读未提交(Read Uncommitted):就是说某个事务还没提交的时候，修改的数据，就让别的事务给读到了，造.
2021-02-03 16:36:30
131
原创 springboot集成CAT日志监控，加上更多sql驱动的监控
首先需要搭建CAT的服务端，需要配置对应客户端的配置，这里就不展开说明了，感兴趣的可以查看我之前的博客1.第一步，引入CAT的客户端依赖，以及springboot的依赖 <dependencies> <!-- cat的客户端的依赖 --> <dependency> <groupId>com.dianping.cat</groupId> <artifactId>cat-clien.
2021-01-12 17:17:58
783
原创 开放远程端口-数据库
开放远程端口-数据库1.开发端口以下命令打开防火墙端口3306firewall-cmd --zone=public --add-port=3306/tcp --permanent2.重启防火墙并查看是否生效firewall-cmd --reload #重启firewallfirewall-cmd --list-ports #查看已经开放的端口3.首先执行以下命令允许root用户远程连接,表示从任何主机连接到mysql服务器GRANT ALL PRIVILEGES ...
2021-01-11 16:43:14
600
原创 CAT的服务端搭建和集成springboot的使用
记录CAT搭建过程,1.下载源码https://github.com/dianping/cat2. 进行maven的编译，打包，然后再cat_home的target下找到cat-alpha-3.0.0.war然后进行修改名字为 cat.war 进行编译的命令 ：mvn clean install -DskipTests3.导入数据库的脚本：首先先创建数据库名称为,再导入脚本 create database cat; source /usr/doc/CatApplication...
2021-01-11 15:09:39
925
原创 elasticsearch6.8.9 安装过程 遇到错误
下载好文件elasticsearch-6.8.9.tar.gz安装解压 tar zxvfelasticsearch-6.8.9.tar.gz如果是root 权限下执行命令 bin/elasticsearch 这时报错了java.lang.RuntimeException: can not run elasticsearch as root at org.elasticsearch.bootstrap.Elasticsearch.init(Elastics...
2020-05-30 20:11:58
365
原创 在 easyexcel 2.0.5 下自定义实现下拉框
在 easyexcel 2.0.5 下实现下拉框,由于easyexcel 并没有提供下拉框的api 只能自己去实现了,阿里提供一个接口WriteHandler 该接口就是用来自己自定义的功能了第一步 模型 public class ProductExcelModel { @ExcelIgnore private String id; @ExcelPr...
2019-12-17 15:34:24
13025
19
原创 String literals in formulas can’t be bigger than 255 characters ASCII
/***创建下拉框**/ private static void creatDropDownList(Sheet taskInfoSheet, String[] dataArray , Integer firstRow, Integer lastRow, Integer firstCol, Integer lastC...
2019-08-05 16:41:22
1207
原创 mycat 安装 linux
安装mycat之前先检查是是否安装jdk 没有的话 自己安装首先下载mycat http://www.mycat.io/下载地址下载地址 是 命令wgethttp://dl.mycat.io/1.6.6.1/Mycat-server-1.6.6.1-release-20181031195535-linux.tar.gz然后就解压 tar -zxvfMycat-...
2019-03-13 14:47:28
214
原创 linux下安装 jdk
首先去下载对应的jdkhttp://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html下载之后解压tar -zxvfjdk-8u201-linux-x64.tar.gz然后转移到mv jdk1.8.0_201 /usr/local/然后再配置环境vim /etc/profi...
2019-03-13 10:18:32
114
原创 linux 小白安装mysql5.7全程
在学习安装mysql5.7之前看了很多网上教程 每次安装都有问题 而且很多问题再百度根本解决不了 我无奈呀 晕 后来重新不挺卸载重新安装最终自己慢慢摸索 安装非常顺利 所以本次全是自己搭建的过程 进入主题第一:首先下载 连接是:https://cdn.mysql.com//Downloads/MySQL-5.7/mysql-5.7.25-linux-glibc2.12-x86...
2019-03-12 17:04:41
826
原创 最新layui版本的导出 进行重写导出内容
前几天在用layui的最新table居然有导出功能 ,后来就用了 但是后来发现文档没有说明可以修改导出内容的api,后来自己就修改源码进行导出的重写进入正题 首先找到对应模块 路径layui/lay/modules/table.js 然后找到导出功能的方法 核心源码这里我最后修改如下 首先我在table.js定义全局的变量myConfig="";重写后的代码 ...
2019-02-19 17:55:39
7548
1
原创 补充rabbitmq镜像队列集群在Nginx的负载均衡的配置
之前搭建了rabbitmq的负载均衡是在haproxy搭建 ，本次是搭建是在补充另外一种负载 采用是Nginx首先是选版本 在Nginx1.9之前是不支持tcp的反向代理的 所以版本一定要Nginx1.9之后了 进入主题 一 下载 /usr/local/software wget http://120.52.51.18/nginx.org/download/ngi...
2019-01-06 19:32:37
2596
2
原创 spring集成redis集群 小牛试刀
昨晚刚刚好搭好redis集群，所以今天就是快速上手试试 本次采用spring-data 集成redis的集群 废话少说 代码来了 一 maven项目 只需要引入两个jar pom.xml <dependency> <groupId>redis.clients</groupId> <artifactId...
2019-01-05 13:42:41
139
原创 redis 去中心化集群 搭建流程
最近在学习Redis集群 搭了几天（菜鸟） 终于搭建好了 今晚记录一下最近搭建的过程 官方推荐搭建集群最好是6个节点 而且是 3.0版本以上 所以我先了三台虚拟机 分别是 192.168.31.121 ， 192.168.31.122 ，192.168.31.123 ，linux 系统是CentOS 7 分别在每个安装两个redis ，去中心化的搭建入题 一、开端口或者是关闭防火防 我是选择是...
2019-01-04 22:47:36
1225
原创 rabbitmq集群 + Haproxy 负载均衡+ Keepalived高可用
我的上篇文章写rabbitmq搭建集群 ,本文章是是继续上篇文章的,本次是搭建负载均衡和高可用 正文入题 负载均衡 采用 Haproxy 如果是Nginx 请看(https://blog.csdn.net/qq_20448967/article/details/80956691)我这篇文章关于Nginx搭建 （!!!注意 后来重新用Nginx补上 请看文章最后）,都是大同小异 ...
2018-12-29 17:51:01
431
原创 rabbitmq 镜像集群负载均衡 搭建过程
rabbitmq 镜像集群配置 准备好几台服务器 比如三台 IP分别是 191,192,193第一步 配置环境和主机名 分别设置三台机器 ① 设置主机名 191:命令 vim /ect/hostname rab191 192:命令 vim /ect/hostname ...
2018-12-27 17:38:03
1157
原创 解决socket负载均衡集群方案和代码实现
有一段时间，在考虑下socket 之间集群 可以在Nginx 下可以 但是不同服务器之间怎么通讯呢 后来自己也想可不可以用什么东西或者中间件来通讯 ，后来在百度之下 发现果然就是按照我所想的 ，在网上看了一个方案，架构如下:说一下这个方案他们之间的作用redis ： 存取用户和服务器的关系，如果A想发一条数据，是发给B ，这时A发起一个mq订阅模式推送的数据 ，然后B收到数据处理好 ，...
2018-07-08 09:46:53
15350
1
转载 linux下实时查看tomcat运行日志
1、先切换到：cd usr/local/tomcat5/logs2、tail -f catalina.out3、这样运行时就可以实时查看运行日志了 Ctrl+c 是退出tail命令。alt+E+R重置。转载 https://www.cnblogs.com/yw0219/p/5780649.html...
2018-07-06 16:14:14
170
原创 ActiveMQ 的负载均衡集群加高可用方案
环境 linux 系统 ，而我本人用的是CentOS-7 ,运行所需的环境是java 所以需要安装jdk ， 安装过程可以看我的这个博客我采用的方案是： 三台ActiveMQ 服务器 这可以到达既可集群又可高可用，架构是这样node A 和 node B ，node A 和 node C 他们之间形成一个 Broker 这样信息同步 ,实现了负载均衡 ，如果 B挂了 C和A 还可以继续服务 ...
2018-07-06 14:48:04
878
2
原创 linux下安装jdk1.8 的配置
命令下载： wget https://mirrors.tuna.tsinghua.edu.cn/apache//activemq/5.15.4/apache-activemq-5.15.4-bin.tar.gz下载完之后用命令解压： tat -zvxf apache-activemq-5.15.4-bin.tar.gz然后解压到对应的目录 我解压的目录 是 /usr/sofk/jdk1.8.0...
2018-07-06 11:40:56
238
原创 对layui tree 和输入框结合扩展 treeSelect
扩展lyaui的组件 效果图如下用法如下：<input type="text" id="treeSelect" autocomplete="off" class="layui-input " >js:treeSelect.render({ elem:"#treeSelect", url:"portal", type:'GET',
2018-07-05 14:10:27
9606
原创 整合阿里的消息队列rocketmq + spring
最近最近学习的阿里的消息队列，自己见解，直接上代码引入依赖<dependency> <groupId>com.alibaba.rocketmq</groupId> <artifactId>rocketmq-client</artifactId> <version>3.2.6</version>&
2018-05-18 14:56:13
1368
原创 基于反射+注解+springAop +统一处理异常 打造属于自己的校验工具 告别if判断让代码更简明
回想以前的写的代码，对于数据的校验当时写好多if 那时看着自己都觉得那个代码简直就是垃圾呀，后来发现其实spring也有一个数据校验Validator 但是这个工具只能作用于一个bean 上 但是有时我们代码根本不用一个bean去接收数据 ，所以它不能满足我的需求，后来自己有一个想法，就想着，填补Validator 这个功能没有的功能进行填坑，后来根据自己的经验和查资料 原来是可以的 废话不多说 ...
2018-05-18 14:42:45
623
原创 基于springAop 打造的应用层的 spring+mybatis+mysql 读写分离
本人是根据别人博客和自己见解进行一个整合，直接代码上<!-- 默认是 读取数据源 --><bean id="dataSourceWR" class="org.apache.commons.dbcp2.BasicDataSource"> <property name="driverClassName" value="${jdbc_driverClassName.
2018-05-18 14:10:06
151
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人