- 博客(23)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 kafka高并发消息堆积
1、 使用Kafka时，消费者每次poll的数据业务处理时间不能超过kafka的max.poll.interval.ms，该参数在kafka0.10.2.1中的默认值是300s,所以要综合业务处理时间和每次poll的数据数量。2、Java线程池大小的选择： （1）对于CPU密集型应用，也就是计算密集型，线程池大小应该设置为CPU核数+1； （2）对于IO密集型应用 ...
2019-04-29 09:31:56
3500
转载 Kafka指定消息的partition规则
注意：在配置文件server.properties中指定了partition的数量num.partitions。这指的是多单个topic的partition数量之和。若有多个broker,可能partition分布在不同的节点上，则多个broker的所有partitioin数量加起来为num.partitions0.7中producer的配置有几项是相排斥的，设置了其一，就不能设置其二比如...
2019-04-29 09:29:54
13277
转载 kafka重复消费问题
问题描述采用kafka读取消息进行处理时，consumer会重复读取afka队列中的数据。问题原因kafka的consumer消费数据时首先会从broker里读取一批消息数据进行处理，处理完成后再提交offset。而我们项目中的consumer消费能力比较低，导致取出的一批数据在session.timeout.ms时间内没有处理完成，自动提交offset失败，然后kafka会重新分配p...
2019-04-29 09:26:54
1071
转载 什么是序列化和反序列化 什么是串行化和并行化？
当两个进程在进行远程通信时，彼此可以发送各种类型的数据。无论是何种类型的数据，都会以二进制序列的形式在网络上传送。发送方需要把这个对象转换为字节序列，才能在网络上传送；接收方则需要把字节序列再恢复为对象。 1、把对象转换为字节序列的过程称为对象的序列化。 2、把字节序列恢复为对象的过程称为对象的反序列化。序列化就是一种用来处理对象流的机制，所谓对象流也就是将对象...
2019-04-24 16:06:36
1887
原创 为什么并发时使用LinkedBlockingQueue？和ArrayBlockingQueue区别？
1、首先LinkedBlockingQueue是线程安全的阻塞队列。2、LinkedBlockingQueue的优点是锁分离，很适合生产和消费频率差不多的场景，这样生产和消费互不干涉的执行，能达到不错的效率，尽量不使用remove操作，获取两把锁的效率更低，可以使用size方法（就是计数器直接返回），这个还是比较重要的，有些集合不适合使用size，例如ConcurrentLinkedQueue，...
2019-04-24 14:10:25
12674
2
转载 JAVA基础——面向对象三大特性：封装、继承、多态
看到一篇整理非常全的文章，摘抄下来！目录一、封装 二、继承 三、多态 四、抽象类和接口的区别JAVA面向对象三大特性详解回到顶部一、封装 1、概念： 将类的某些信息隐藏在类内部，不允许外部程序直接访问，而是通过该类提供的方法来实现对隐藏信息的操作和访问。 2、好处： 只能通过规定的方法访问数据。 隐藏类的实例细节，方便修改和实现。...
2019-04-24 10:16:55
874
转载 linux下mysql导入导出sql文件
window下1.导出整个数据库mysqldump -u 用户名 -p 数据库名 > 导出的文件名mysqldump -u dbuser -p dbname > dbname.sql2.导出一个表mysqldump -u 用户名 -p 数据库名 表名> 导出的文件名mysqldump -u dbuser -p dbname users> dbname_user...
2019-04-22 13:39:44
575
原创 为什么java类设计成abstract类，和C++有什么区别？
java和C++的区别，它只有抽象类的概念，没有虚函数的概念，尽管两者很相似。java类设计成abstract类，抽象类中的所有protected保护成员，继承的子类都可以直接使用，不需要实例化调用或者创建。特点：（1）Java抽象函数必须在抽象类中，同时它不能有函数体（2）抽象方法由子类实现，抽象类不能实例化。（3）若子类实现抽象类方法后，不想被其他子类继承则可以在class...
2019-04-17 11:22:04
316
原创 为什么16进制字符串不可以直接Integer.parseInt()转换？
16进制字符串不可以直接用Integer.parseInt()转换，字符串“00”和“FF”还好，但是若为“1A”,这样转换必然出错！附16进制转10进制： // 16进制转10进制 public static int HexToInt(String strHex) { int nResult = 0; if (!IsHex(strHex)) return nResult...
2019-04-17 10:09:23
3653
5
原创 postMapping为什么使用consumes/produces？
1、 value， method；value： 指定请求的实际地址，指定的地址可以是URI Template 模式（后面将会说明）；method： 指定请求的method类型， GET、POST、PUT、DELETE等；2、 consumes，produces；consumes： 指定处理请求的提交内容类型（Content-Type），例如application/j...
2019-04-16 19:42:46
21917
转载 linux个文件目录图表
目录 应放置档案内容 /bin 系统有很多放置执行档的目录，但/bin比较特殊。因为/bin放置的是在单人维护模式下还能够被操作的指令。在/bin底下的指令可以被root与一般帐号所使用，主要有：cat,chmod(修改权限), chown, date, mv, mkdir, cp, bash等等常用的指令。 ...
2019-04-16 17:35:10
175
转载 shell脚本启动 ：字符串判空有空格报错：binary operator expected
使用-z或-n对一个变量判空时，需要注意若直接使用[ -n ${ARG} ]这种形式，若${ARG}中有空格将会报错，ARG="sd dd"if [ -n ${ARG} ]; then echo 'ARG:' ${ARG}else echo 'ARG is empty.'fi输出：line 27: [: sd: binary operator expected...
2019-04-15 17:07:38
8993
原创 vim批量替换
1、sed批量替换用字符串 str2 替换每行首次出现的字符串 str1sed -i ‘s/str1/str2/’ file.txt用字符串 str2 替换所有出现的字符串 str1sed -i ‘s/str1/str2/g’ file.txt2、sed删除指定行a、sed -i ‘/[mnt]/,5d’ a.txtb、sed -i ‘/...
2019-04-11 18:23:51
638
转载 Linux下多线程服务器Reactor模式总结（精华好文！！）
本文主要的目的是总结Linux下多线程服务器常用Reactor模式。PS：述而不作，里面很大部分知识都是总结的陈硕(muduo网络库作者，《Linux多线程服务端编程》作者)论述，感谢陈硕前辈。Reactor模式介绍Linux环境下高性能网络程序中，大都使用Reactor模式，比如libevent、libev、ACE，POE(Perl)、Twisted(Python)等。那什么是Reac...
2019-04-10 10:44:03
1823
1
原创 为什么使用注解@SuppressWarnings("unchecked")？
1、首先了解注解 @SuppressWarnings("unchecked")：解释：抑制编译器产生的警告信息（1）抑制单类型警告：(在强制类型转换的时候编译器会给出警告)@SuppressWarnings("unchecked")（2）抑制多类型警告：@SuppressWarnings(value={"unchecked", "rawtypes"})（3）抑制所有类型...
2019-04-10 09:30:17
1535
转载 日常使用linux命令，它们具体含义是什么？
命令缩写：ls：list(列出目录内容)cd：Change Directory（改变目录）su:switch user切换用户rpm:redhat package manager红帽子打包管理器pwd:print work directory打印当前目录 显示出当前工作目录的绝对路径ps: process status(进程状态，类似于windows的任务管理器)常用参...
2019-04-10 09:15:53
380
原创 为什么JAVA内部类设计成静态和非静态呢？
在哪儿遇到这个问题的？在restful请求中数据多重包含的情况下，我使用了这个静态内部类，本来没有太多的考虑，但是这个时候老大问了我为什么？我愣了一下，只说了这个静态内部类只给当前类使用，外部类无法访问。老大笑着说，你好好看看。 今天把问题在重新整理一下，为什么要使用静态内部类呢？（1）首先第一个问题，为什么使用内部类？解释：第一、类内部的某个属性涉及比...
2019-04-09 18:16:50
891
转载 mybatis配置时出现org.apache.ibatis.binding.BindingException: Invalid bound statement (not found) 如果出现：
如果出现：org.apache.ibatis.binding.BindingException: Invalid bound statement (not found)一般的原因是Mapper interface和xml文件的定义对应不上，需要检查包名，namespace，函数名称等能否对应上，需要比较细致的对比，我经常就是写错了一两个字母搞的很长时间找不到错误按以下步骤一一执行：...
2019-04-09 14:25:10
270
原创 为什么long,int和Integer，Long不能直接转换？
今天测试遇到一个异常，检查半天没有找到问题所在，最后将IOException改为Exception终于把异常捕捉到了，问题就是：无法将long转化为Integer看起来只是一个不起眼的问题，但是真正检查却花了半小时，尴尬（1）首先基本数据类型之间可以强转，如long,int（2）对象类数据类型，如Integer，String， Long，这个时候基本数据类型和对象数据类型之间的转换...
2019-04-04 13:26:40
10958
1
原创 VIM命令使用
一、最常用查找命令使用：（1）快速查找（日常根据时间，关键字查找杜英日志）/pattern 向后搜索字符串pattern?pattern 向前搜索字符串pattern（2）搜索替换:%s/old/new/g 搜索整个文件，将所有的old替换为new:%s/old/new/gc 搜索整个文件，将所有的old替换为new，每次都要你确认是否替换（3）移动光标h,j,k...
2019-04-02 09:56:24
142
原创 nohup命令
1、nohup命令是no hang up 缩写，意思是不挂断的意思。2、nohup命令：如果你正在运行一个进程，而且你觉得在退出帐户时该进程还不会结束，那么可以使用nohup命令。该命令可以在你退出帐户/关闭终端之后继续运行相应的进程。3、nohup和&结合使用&： 是指在后台运行，但当用户推出(挂起)的时候，命令自动也跟着退出nohup： 不挂断的运行，注意并...
2019-04-02 09:22:42
4057
转载 JAVA与C++通信之字节序
1．BIG-ENDIAN、LITTLE-ENDIAN跟多字节类型的数据有关的比如int,short,long型，而对单字节数据byte却没有影响。BIG-ENDIAN就是低位字节排放在内存的低端，高位字节排放在内存的高端。而LITTLE-ENDIAN正好相反。 比如 int a = 0x05060708 在BIG-ENDIAN的情况下存放为： 字节号 0 1 2 3 数据...
2019-04-02 08:59:01
868
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人