- 博客(12)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 centos7 安装jdk1.8
下载jdk1.8的的压缩文件下载地址：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html选择jdk-8u261-linux-x64.tar.gz包进行下载上传文件到centos并解压，可通过winSCP工具或其他工具上传。进入对应的文件夹，解压文件。tar -zvxf jdk-8u261-linux-x64.tar.gz移动解压后的文件将文件改名，并移动到..
2020-07-23 18:52:16
176
原创 Kafka扩容之分区扩容
分区扩容举例，主题“user_order”目前是1个分区，这里将该主题分区增加到6个，观察修改结果kafka-topics.sh --partitions 6 --alter --zookeeper dn1:2181,dn2:2181,dn3:2181 --topic user_order这里只是修改分区数，但是数据还没有迁移过去使用kafka提供的工具kafka-reassign-partitions.sh来迁移数据。迁移数据需要分三步做：生成迁移计划先手动生成一个topic.jso
2020-07-15 00:41:44
2294
原创 Kafka扩容之主题迁移
简述增加新服务到kafka集群是很容易的，只要为新服务分配一个独一无二的Broker ID并启动即可。但是，新的服务不会自动分配到任何数据，需要把分区数据迁移给它们，在此期间它们一直不工作，直到新的topic创建，所以，通常向集群添加机器时，你需要将一些现有的数据迁移到这些机器上。迁移数据的过程是手动启动的，但是执行过程是完全自动化的。在kafka后台内部中，kafka将添加新的服务器，并作为正在迁移分区的follower，来完全复制该分区现有的数据。当新服务器完全复制该分区的内容并加入同步副本，成为现
2020-07-14 23:14:29
374
原创 Kafka导致重复消费原因和解决方案
问题分析导致kafka的重复消费问题原因在于，已经消费了数据，但是offset没来得及提交（比如Kafka没有或者不知道该数据已经被消费）。总结以下场景导致Kakfa重复消费：原因1：强行kill线程，导致消费后的数据，offset没有提交（消费系统宕机、重启等）。原因2：设置offset为自动提交，关闭kafka时，如果在close之前，调用 consumer.unsubscribe() 则有可能部分offset没提交，下次重启会重复消费。例如：try { consumer.unsub
2020-07-13 10:12:13
8133
1
转载 Kafka重复消费解决方案
1.问题背景某服务（用了SpringBoot + spring-kafka）处理Kafka消息时，发现每条消息处理时间长达60+秒。几百条消息处理完后，又重新从第一条开始重复消费。2.原因分析Kafka消费者有两个配置参数：max.poll.interval.ms两次poll操作允许的最大时间间隔。单位毫秒。默认值300000（5分钟）。两次poll超过此时间间隔，Kafka服务端会进行rebalance操作，导致客户端连接失效，无法提交offset信息，从而引发重复消费。max.poll.r
2020-07-12 11:20:34
1334
原创 主机无法访问虚拟机中 ElasticSearch和Kibana服务
宿主机无法访问虚拟机中 ElasticSearch服务现象宿主机为WIN10系统，使用VMware安装了CentOS6（192.168.9.3），在linux中成功启动了ES服务，本在虚拟机本地能访问到127.0.0.1:9200并返回结果，但是无法从宿主机中直接访问192.168.9.3:9200虚拟机ping宿主机 OK宿主机ping虚拟机 OK宿主机能访问虚拟机的8080端口宿主...
2020-04-26 11:51:03
1682
1
转载 Java的SPI机制分析
目录1 SPI是什么2 使用场景3 使用介绍示例代码4 原理解析5 总结参考1 SPI是什么SPI全称Service Provider Interface，是Java提供的一套用来被第三方实现或者扩展的API，它可以用来启用框架扩展和替换组件。整体机制图如下：Java SPI 实际上是“基于接口的编程＋策略模式＋配置文件”组合实现的动态加载机制。系统设计的各个抽象，往往有很多不同的实现...
2020-04-15 22:06:29
175
转载 千万不要这样使用Arrays.asList !
使用Arrays.asList()的原因无非是想将数组或一些元素转为集合,而你得到的集合并不一定是你想要的那个集合。而一开始asList的设计时用于打印数组而设计的，但jdk1.5开始，有了另一个比较更方便的打印函数Arrays.toString(),于是打印不再使用asList()，而asList()恰巧可用于将数组转为集合。一、错误用法如果你这样使用过，那你可要注意了。1、错误...
2020-04-04 00:15:48
146
原创 【MyBatis】MyBatis缓存
Mybatis缓存Mybatis的一级缓存是指SqlSession。存储作用域是Session，会对同一个SQL语句进行Session缓存，来提高执行效率，一级缓存的作用域是一个SqlSession。Mybatis默认开启一级缓存。在同一个SqlSession中，执行相同的查询SQL，第一次会去查询数据库，并写到缓存中；第二次直接从缓存中取。当执行SQL时两次查询中间发生了增删改操作，则Sq...
2019-12-20 12:19:10
90
原创 【MyBatis】MyBatis与Hibernate比较
1. Mybatis与Hibernate区别1.1 表格比较功能MyBatisHibernate开发速度上手容易相对掌握困难开发工作量手写SQL语句也可以手写SQL语句，但破坏了Hibernate封装和简洁性扩展性因为是手写SQL，所有扩展性好，但迁移性差数据库关系关联都在XML中，所以HQL对是什么数据库不关心移植性不好，针对不同的数据库...
2019-12-19 11:46:06
106
原创 【MyBatis】MyBatis工作流程
MyBatis处理流程首先从SqlSessionFactory创建SqlSession。SQL语句通过SqlSession中的Executor执行。根据SQLSession传递的参数执行Query方法，然后创建StatementHandler对象，将必要的参数传递给StatementHandler，由StatementHandler完成数据库的查询。StatementHandler调用P...
2019-12-19 11:45:30
176
原创 CSDN-markdown编辑器
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Ma...
2019-12-17 23:16:03
76
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人