2017年06月_龙腾四海365

06月 03月

原创获取tomcat端口-不通过request对象

获取tomcat端口-不通过request对象网上有很多文章介绍如何使用request对象来获取tomcat的端口，这里来介绍一种不通过request对象来获取tomcat端口的方法：1.windows在${tomcat_home}/bin/catalina.bat中加上这句话set JAVA_OPTS=-D=例如： set JAVA_OPTS=-Dreyo.lo

2017-06-10 15:44:51 2829

原创常用linux命令scp,grep,free

常用linux命令scp,grep,free#1.远程拷贝命令scp (-r) testrule@hadoop103:/home/rule/（目录拷贝）文件用户名@主机:路径eg：scp test.txt rule@hadoop103:/home/rule/将当前目录下的test.txt文件拷贝到Hadoop103的rule用户的/home/rule/目录下。

2017-06-10 15:41:37 578

原创 Kafka8使用Demo

Kafka8使用Demo消费者：import java.util.HashMap;import java.util.List;import java.util.Map;import java.util.Properties;import kafka.consumer.Consumer;import kafka.consumer.ConsumerConfig;impor

2017-06-09 10:09:37 511

原创 Kafka常用命令汇总

Kafka常用命令汇总0.查看有哪些主题： ./bin/kafka-topics.sh --list --zookeeper 172.16.13.64:21811.查看topic的详细信息./bin/kafka-topics.sh -zookeeper 172.16.13.64:2181 -describe -topic test2、为top

2017-06-09 09:47:53 571

原创 kafka9重复消费问题解决

kafka9重复消费问题解决背景：之前用的kafka客户端版本是0.8，近期升级了kafka客户端的版本，写了新的消费者和生产者的代码，在本地测试没有问题，可以正常消费与生产。但最近的项目中使用了新版的代码，当数据量较大时会出现重复消费的问题。现将问题的排除与解决过程记录下来，避免再次踩坑。问题发现：由于ConsumerRecord对象可以获取到当前消息的分区与偏移量，故在

2017-06-07 15:46:32 24217 2

原创 kafka9使用demo

kafka9使用demo新的Comsumer API不再有high-level、low-level之分了，而是自己维护offset。这样做的好处是避免应用出现异常时，数据未消费成功，但Position已经提交，导致消息未消费的情况发生。通过查看API，新的Comsumer API有以下功能：Kafka可以自行维护Offset、消费者的Position。也可以开发者自己来

2017-06-03 17:34:22 799