HuangJianShanの游离世界

原创 kafka学习之提高吞吐量

原kafka架构生产者发送消息保存数据库，使用定时任务线程池定时轮询加载待发送的消息，每个topic下的消息被分配到单独的线程中执行，按照固定的延迟执行任务，每执行完成后间隔指定的时间再执行下一次(并且每个topic使用数据库t_msg_topic_produce_lock表加锁的方式控制每个topic只能在单独应该服务器中执行)；每个应用服务使用定时任务线程池定时轮询加载数据中待消费的消息，每个topic下的消费被分配到单独的线程中执行消费，以保证顺序消费；问题1：发送消息何时持久化到数据库中？

原创 Redis数据结构底层原理详细分析

Redis的对象、简单动态字符串、链表、字典、跳跃表、整数集合、压缩列表的存储机制首先内存和硬盘的比较内存直接由CPU控制，也就是CPU内部集成的内存控制器，所以说内存是直接与CPU对接，享受与CPU通信的最优带宽，然而硬盘则是通过桥接芯片(在主板上)与CPU相连，所以说速度比较慢。两者相比内存比硬盘到底有多快？通常的说法是：内存访问速度是纳秒级（10的-9次方），硬盘的访问速度是微秒级（10的-3次方）。找到一个稍微科学点的测试数据，如下图1.顺序访问：这种情况下，内存访问速度仅仅是.

原创 软件系统命名简称大全

目录平时开发过程中需要一些标准化的命名，在开发或者定义中去查找很难临时的找到；今天吐血整理出来希望对大家或者我自己有帮助。OMS (订单管理系统)WMS (仓储管理系统)TMS (运输管理系统)FMS (货代管理系统)CDS (报关管理系统)CMS (内容管理系统Content Manage System)SCM (供应链管理-Supply Chain Management)CRM (客户关系管理系统-Customer Relationship Managem...

原创 kafka查询指定消费Group未消费的数据

最近线上出现kafka生产者发送成功了，但是消费者没有拉取到，出现这种现象是偶发的，就是在几分钟内有几个消息没消费到，后面就没再出现过。首先先去卡夫卡上确认是否有消息堆积下载kafka(不是src版的哦):http://kafka.apache.org/downloads下载完毕后，解压到指定的文件夹中1、查询topic，进入kafka目录：./bin/kafka-topics.sh --list --zookeeper 172.16.331.120:21812.查询消费者组列表

原创 技术靠一点一点的积累的,不信你看图

转载 干掉代码中嵌套的if else if

首先可读性，不言而喻，过多的 if-else 代码和嵌套，会使阅读代码的人很难理解到底是什么意思。尤其是那些没有注释的代码。其次是可维护性，因为 if-else 特别多，想要新加一个分支的时候，就会很难添加，极其容易影响到其他的分支。笔者曾经看到过一个支付的核心应用，这个应用支持了很多业务的线上支付功能，但是每个业务都有很多定制的需求，所以很多核心的代码中都有一大坨 if-else。每个新业务需要定制的时候，都把自己的 if 放到整个方法的最前面，以保证自己的逻辑可以正常执行。这种做法，后果可想

转载 各大互联网公司架构演进之路汇总

转载在互联网行业中，有两种优秀的技术人，一种是热衷于分享技术的，一种是热衷于学习别人的技术分享的，而在技术分享中，很重要的一个话题就是技术架构演进。所以，但凡上一点规模的技术会议，不可缺少的一个关键话题就是各大互联网公司的工程师来分享"技术架构演进之路"。蚂蚁金服支付宝和蚂蚁花呗的技术架构及实践余额宝技术架构及演进胡喜：蚂蚁金服十五年技术架构演进之路高可用、弹性动态的金融级移动架构在蚂蚁金服的演进之路支付宝的高可用与容灾架构演进阿里巴巴0到千万DAU，微淘技术架构

原创 Springtest与junit结合测试注解失败原因

问题描述：我利用Springtest与junit结合测试，出现bean注解失败，test测试代码如下：package org.sparkant.test;import org.junit.Test;import org.junit.runner.RunWith;import org.sparkant.common.object.PackageData;import org.spark

原创 idea安装jrebel对项目在tomcat中热部署问题

idea安装jrebel后热部署没起作用。嘻嘻，具体的jrebel插件安装过程网上有很多详细方法步骤。问题：我安装jrebel安装成功后，直接用jrebel运行web项目，发现项目没法热部署。后来经过研究发现jrebel安装成功后，想要成功的进行热部署，还需要对四个地方进行操作，具体的操作步骤如下：1.按组合键command＋，键，在打开的idea配置页面找到compiler，把没有打

原创 idea使用过程遇到问题集一

问题：idea新建maven模块化web项目时 运行web找不到项目的jar    Tomcat运行web项目，控制台报错误如 web.xml中配置pringmvc 启动的时候报找不到相应的类。这时去输出的目录看发现没有生存lib文件夹，项目所有的依赖jar都没有导过来。   经过排查有两个原因造成的。一：在pom.xml添加如下的代码war二：因为我的webapp是我