小浩子的博客

生活就像海洋,只有意志坚强的人才能到达成功的彼岸。

kafka处理超大消息的配置

总会遇到各种各样的需求,kafka达到最佳吞吐量的消息大小是10k,而在我们的项目中,消息有的是1k,有的是100M,最大可达400M,这种消息很少很少,但是会有,所以整套环境必须要使用1K~400M。 kafka最近的版本对消息的最大限制是2G,是足够的,这里有3个地方要配置: broker ...

2019-05-20 10:30:15

阅读数 2

评论数 0

聊聊压测的注意事项

测试环境压测做完后,在生产环境下也要做一下压测,生产环境如果是现网在用的话,测试起来比较麻烦。这些麻烦事项包括: 1.测试的时间点,往往在0点后开始,熬夜吧 2.测试数据准确性,现网环境的干扰因素更多,需要获取的数据指标就得更加细致 3.测试结果输出,为了不影响现在业务,一些指标的变化不能即时呈现...

2019-05-07 11:45:55

阅读数 19

评论数 0

最简单的 spring 整合 kafka 例子

这周到联调阶段,回顾项目的开发,之前在spring跟kafka这块吃了不少亏,网上的资料太繁琐、配置好了还各种报错,我今天整理一个最最简单的demo,以供参考。 前提条件: 安装zookeeper,下载解压,更改配置文件名称、配置环境变量,启动即可,资料比较全,搜一下就有 安装kafka, 更简...

2019-04-03 10:24:43

阅读数 133

评论数 0

线上OOM问题实战

项目在测试环境运行一段两天后,会出现OutOfMemoryError: Java heap space 的错误,导致程序崩溃停止 遇到这种错误,往往很难知道是哪里出错,我去年有记录定位OOM的问题的文章,刚好重温一下:线上java.lang.OutOfMemoryError问题定位三板斧 先不着急...

2019-03-26 11:43:30

阅读数 65

评论数 0

基于多线程应用的高级消费者(kafka)

从Kafka读取消息的逻辑并不关心处理消息偏移量,它只需要数据。因此,高级消费者可以从Kafka中抽象出消费事件的大部分细节。 线程模型围绕主题的分区数,有一些具体的规则: 如果线程多于主题上的分区,那么有些线程将永远不会看到消息 如果分区比线程多,一些线程将从多个分区接收数据 如果每...

2019-03-13 14:57:00

阅读数 115

评论数 0

kafka优化之多线程消费

我之前用ssm消费kafka,在注解配置了消费队列,这是一种来生产多少,消费多少的形式,为了提升性能,加了一些优化:消费分为两部分:接收生产消费不变,执行消费行为用线程跑,但又不能无限制的开启线程,所以,最好用线程池管理 先看不需要返回结果的(runnable),应用:把消费代码封装,实现runn...

2019-02-23 14:15:22

阅读数 65

评论数 0

kafka开发小结

最近两个月,项目开发用到kafka,今天终于跑通了线上环境,这期间也踩了不少坑,在这里做一个总结。 大致需求:做一个图像处理工具,每天处理10w的图片,由于机房分布在不同地方,这里有两套kafka集群环境,业务系统也有好几个 开发思路:1.先准备内网环境 2.创建单机kafka 3.开发业务系统 ...

2019-02-16 15:12:16

阅读数 60

评论数 0

kafka运行时某个节点丢失

最近在开发的过程中用到kafka做消息中间件,在测试高并发的时候,发现了一系列的问题。这两天也明白一点,做出产品跟做好产品是两回事!程序能跑起来跟程序能稳定运行更是两回事! 开发的过程中,只要测试数据能否通,业务逻辑能不能被执行,只需要测试小数据量。但是程序开发完成后,性能测试是另一个工作。 第...

2019-01-28 11:16:00

阅读数 220

评论数 0

监控任务的设计思路

这里就不画图了,文字表述即可。 假如现在有好几个业务子系统共同完成一个任务,当大量的任务来临时,怎么去保证每个任务都能跑完?这就需要我们对任务进行监控,我的思路是这样的:创建一个新的监控项目,定时遍历数据库的任务表,看看有没有新来的任务,有的话取出来,加入一个待执行队列,并计算超时时间,再开一个线...

2019-01-09 21:00:55

阅读数 211

评论数 0

超时/重发机制架构设计(单机版)

在上一篇博文中提到用超时线程监控程序,那是对一整条业务的,如果要细分到每个子业务呢。这几天不断修修改改,总结出一套模型,直接上图,一目了然: 这里假设一个业务有3个子业务,这是针对单台物理机的,如果是多台机器,还需要在修改一部分内容,待我测试好再分享分布式的模型 ...

2018-12-10 19:46:36

阅读数 276

评论数 0

java添加超时检测

需求,在不同的ssm模块间,如果一个模块给给一个模块发任务,任务又好多,期间有某个任务死循环、崩了,怎么办? 所以在这里要做一个超时机制,监听每个任务,原理很简单,用一个线程不断去判断任务是否超时。 controller拿到任务,将拿到的元素和拿到时刻的时间记录下,存储在hashMap中 ...

2018-11-22 11:07:26

阅读数 586

评论数 0

ubuntu16.04 快速搭建ELK日志分析平台

加入我们要在一台服务器上部署一个ssm应用,部署完,运行一段时间崩了。排查问题得时候,我们自然会想到查看log4J日志。可是,如果服务器不止一个应用,而是好几个呢,这当然可以查看每个应用的log4J日志。那如果不止一台服务器,而是好几台呢,难道还一个一个看?这显然是不现实的。现在又一套开源的分布式...

2018-11-17 13:23:00

阅读数 249

评论数 0

java 应用整合 redis 最快捷最有效的方法

先说明一下背景,最近忙着弄一个分布式架构的项目,每个子节点基于ssm,还有其它的缓存,异常,每个节点之间的应用又根据层级拆分,bean、service、provider、consumer,不是zookeeper+dubbo,特殊的业务需求我们自己写节点管理,但是借用了dubbo的思想。 原项目用的...

2018-10-30 10:35:23

阅读数 215

评论数 0

Java NIO 学习教程(一)

这个系列的NIO主要是翻译过来的,原文地址:http://tutorials.jenkov.com/java-nio/index.html Java NIO 教程 Java NIO:Channels and Buffers(管道和缓冲区) 在标准的IO API中,使用的是字节流和字符流。在NIO中...

2018-10-11 17:53:20

阅读数 117

评论数 0

接到添加权限管理的任务,该怎么办?

刚接到一个任务,给系统添加权限管理,一开始接收到这样的活,要怎么开始? 那当然是找资源了,系统是基于ssm开发的,去github搜搜:ssm+权限 选择几个星星多、jdk版本、开发环境跟本地较为贴近的,导入本地,调整一下环境和补充下载不到的jar,然后运行看看符不符合大致的需求(几乎没有完全符...

2018-09-11 20:05:01

阅读数 206

评论数 0

java非阻塞获取接口数据

数据分析系统中,首页的表格需要大量的数据,这些数据可能是从另一个子系统中获取,就要接收接口的数据,获取接口的数据做成非阻塞的,可以打打提高响应速度,模型如下: ExecutorService threadPool = Executors.newCachedThreadPool(); //获取数...

2018-08-31 12:16:43

阅读数 166

评论数 0

分享一个文件处理通用类

1.下载网络图片 2.创建文件 3.删除文件 import java.io.ByteArrayOutputStream; import java.io.DataInputStream; import java.io.File; import java.io.FileOutputStream;...

2018-08-31 11:53:58

阅读数 125

评论数 0

mui app网页开发常见bug

最近用mui做app网页的开发,踩了一些小坑,在这总结一下: 1.单一网页 加入有一个网页需要在app上显示,这时候我们不需要全部的mui,在mui中找到需要的例子,复制其js、css引入即可。 2.底部+顶部选项卡时,点击顶部选项卡,被点的选项卡没有被选中 具体的场景是这样的:底部3个t...

2018-08-15 19:43:54

阅读数 387

评论数 0

win7 64位安装mysql5.7.22

5.7.22是免安装版 一、先从官网下 选择5.7的: 先选择64位,再下载: 二、下载后解压到目录中,我是:F:\mysql-5.7.22-winx64 然后新建my.ini文件 [mysqld] port = 3306 basedir=F:\mysql-5.7.22...

2018-07-24 18:15:06

阅读数 88

评论数 0

java.lang.UnsatisfiedLinkError: dll: Can't find dependent libraries

调试耗时两天,几近绝望的bug,好在现在解决了,这是错误: java.lang.UnsatisfiedLinkError:...\jdk1.7.0_80\bin\xxx.dll: Can't find dependent libraries at java.lang.ClassLoade...

2018-07-17 17:05:46

阅读数 1447

评论数 2

提示
确定要删除当前文章?
取消 删除
关闭
关闭