- 博客(33)
- 收藏
- 关注
转载 Kafka整理
前提auto.offset.reset=smallest,这样能保证每条消息都at least once,至少一次。否则offset取最大时,会导致有些消息因为offset已经跳过而取不到。zookeeper中没有初始化的offset时,如果offset是以下值的回应:smallest:自动复位offset为smallest的offsetlargest:自动复位offset为l
2017-05-17 10:32:33 424
转载 KafkaConsumer0.9(三)
Java代码 Properties props =new Properties();props.put("bootstrap.servers","localhost:9092");props.put("group.id","test_group");props.put("enable.auto.commit","true");props.put("auto.com
2017-05-17 10:27:09 1852
转载 KAFKA目录结构
找到kafka的安装目录find / -name kafka* -type d [root@DockerHostconfig]# cd/wls/kafka_2.11-0.8.2.1/config[root@DockerHostconfig]# lltotal28-rw-r--r--1 root root 1199 Feb 27 2015consume
2017-05-17 10:26:09 8490
转载 kafkaProducer
Kafka Producer产生数据发送给KafkaServer,具体的分发逻辑及负载均衡逻辑,全部由producer维护。Kafka结构图Kafka Producer默认调用逻辑默认Partition逻辑1、没有key时的分发逻辑每隔 topic.metadata.refresh.interval.ms的时间,随机选择一个partition。这个时间窗口内的所
2017-05-17 10:24:57 2344
转载 ZOOKEEPER登陆及目录结构
1. 启动ZK服务: sh bin/zkServer.sh start 2. 查看ZK服务状态: sh bin/zkServer.sh status 3. 停止ZK服务: sh bin/zkServer.sh stop 4. 重启ZK服务: sh bin/zkServer.sh restart [ro
2017-05-17 10:23:08 2628
转载 kafka consumer配置项
PropertyDefaultDescriptiongroup.id 用来唯一标识consumer进程所在组的字符串,如果设置同样的group id,表示这些processes都是属于同一个consumer groupzookeeper.connect
2017-05-17 10:21:43 1130
转载 kafka consumer防止数据丢失
kafka最初是被LinkedIn设计用来处理log的分布式消息系统,因此它的着眼点不在数据的安全性(log偶尔丢几条无所谓),换句话说kafka并不能完全保证数据不丢失。 尽管kafka官网声称能够保证at-least-once,但如果consumer进程数小于partition_num,这个结论不一定成立。 考虑这样一个case,partiton_num=2,启动一个c
2017-05-17 10:21:07 521
转载 kafka
对于kafka的consumer接口,提供两种版本, high-level一种high-level版本,比较简单不用关心offset,会自动的读zookeeper中该Consumer group的last offset参考,https://cwiki.apache.org/confluence/display/KAFKA/Consumer+Group+E
2017-05-17 10:19:51 239
转载 集合
1、Java集合可分为Set、List和Map,Set代表无序、不可重复的集合;List代表有序、重复的集合;Map代表具有映射关系的集合。从Java5以后,Java增加了Queue体系集合,代表队列集合实现。2、Java集合就像一种容器,我们可以把多个对象(实际上是对象的引用,但习惯上都称对象)“丢进”该容器中。Java5之前,Java集合会丢失容器中所有对象的数据类型,把所有对象都
2017-05-17 10:17:42 238
转载 JSON格式String转Map
用到的jar包:jackson-all-***.jar ObjectMapperobjectMapper = new ObjectMapper();Map> paramMap = null;paramMap = objectMapper.readValue(requestStr,Map.class);
2017-05-17 10:17:22 612
转载 Maven2与Ivy的区别
Maven2,它是一个模块化项目构建工具(Building a Project )。它能够管理依赖、构建周期、测试、打包并且在仓库中发布你的制品。它是一个项目构建工具,领先于通常的构建工具(实际上它的第一个版本是在Ant之上的一层)。apache ivy2 对项目依赖的文件可以进行统一的管理,依赖于ant,它是一个管理(记录、跟踪、解析和报告)项目依赖的工具 (depend
2017-05-17 10:16:55 312
转载 NULL知识
对于Java程序员来说,null是令人头痛的东西。时常会受到空指针异常(NPE)的骚扰。连Java的发明者都承认这是他的一项巨大失误。Java为什么要保留null呢?null出现有一段时间了,并且我认为Java发明者知道null与它解决的问题相比带来了更多的麻烦,但是null仍然陪伴着Java。我越发感到惊奇,因为java的设计原理是为了简化事情,那就是为什么没有浪费时间在指针、
2017-05-17 10:16:04 229
转载 JAR、WAR、EAR
以最终客户的角度来看,JAR文件就是一种封装,他们不需要知道jar文件中有多少个.class文件,每个文件中的功能与作用,同样可以得到他们希望的结果。除jar以外对于J2EE来说还有war和ear。区别见下表: JARWAREAR英文Java Archive fileWeb
2017-05-16 10:42:58 282
转载 Oracle属主等
需求:A用户是表table1的属主,B用户要查询table1中的数据 1、用户A给用户B授权查询权限(用户B登录数据后可以查询,select * from A.table1,必须显示写上属主才能查询)2、用户A给table1建同义词,查询table1时,可以直接select * from table1,隐藏掉table1的属主create orrepla
2017-05-16 10:41:51 4323
转载 源文件Arith.java
importjava.math.BigDecimal;/** * 由于Java的简单类型不能够精确的对浮点数进行运算,这个工具类提供精 * 确的浮点数运算,包括加减乘除和四舍五入。 */public class Arith{ //默认除法运算精度 private static final int DEF_DIV_SCALE =10;
2017-05-16 10:41:13 297
转载 double加减乘除
importjava.math.BigDecimal; public class Arith {private static finalint DEF_DIV_SCALE = 10; /*** * 两个Double数相加 ** * @param v1 ** @param v2 ** @return Double*/public static
2017-05-16 10:40:40 1987
转载 各种消息队列的比较
源文档 http://wenku.baidu.com/link?url=ixijr9a787KA5ZvpYb5sPuslYORA7fjAQBOJxylij1PKgN-ZJGOn4nicuE8q1DHV6d2z_3uaOjoo6rjIOGjui2bkWHQ7Z1QRNF960mB3kBq>
2017-05-16 10:40:04 296
转载 NULL知识
对于Java程序员来说,null是令人头痛的东西。时常会受到空指针异常(NPE)的骚扰。连Java的发明者都承认这是他的一项巨大失误。Java为什么要保留null呢?null出现有一段时间了,并且我认为Java发明者知道null与它解决的问题相比带来了更多的麻烦,但是null仍然陪伴着Java。我越发感到惊奇,因为java的设计原理是为了简化事情,那就是为什么没有浪费时间在指针、操作符
2017-05-16 10:25:04 387
转载 ORACLE to_date Date类型查询
Date类型字段查询时select * fromtopenday d where d.d_date = to_date('2016-10-08','yyyy-mm-dd')
2017-05-16 10:22:26 756
转载 高性能update语句
前提必须有主键update (select a.en_cday24endasset as endasset_old,(a.en_cday24endasset - b.en_occurbala) as endasset_new, a.en_cday24unregbala as unregbala_old,(a.en_cday24unregbala - b.en_unregba
2017-05-16 10:00:57 1088
转载 拦截器Interceptor
1、Interceptor:packagecom.paic.is.orderSystem.common.quartz.interceptor; importcom.paic.pafa.app.biz.service.BusinessServiceException;importcom.paic.pafa.exceptions.BusinessException; /
2017-05-16 09:59:52 616
转载 HTTPCLIENT超时设置
3.X是这样的 HttpClient httpClient=new DefaultHttpClient();4.3是这样的 CloseableHttpClient httpClient =HttpClients.createDefault();当然,上面这些变化只不过是一些小变化,大家看看API大家就都会了。 我要讲的是超时设置,HttpClie
2017-05-16 09:58:41 202
原创 编码问题
1、http调用如果设置编码前后要一致,httppost请求设置编码要和收到请求后解析时的编码保持一致。 //发送请求时public static voidjsonProcess(JSONObject json,String uri) throws ClientProtocolException,IOException{HttpPostpost = new HttpPost
2017-05-16 09:57:59 439
转载 NoHttpResponseException
“在一些环境,通常是在大压力情况下,web容器能名接收到请求,但是不能够处理它们。比如缺少线程资源就是最好的例子,这将会导致服务端断掉客户端的连接而不给任何的响应,在这种情况下HttpClient就会抛出NoHttpResponseException异常,多数情况下尝试再次调用方法来可靠的处理NoHttpResponseException。”
2017-05-16 09:56:29 944
转载 Java中httpClient中的三种超时设置小结
ConnectTimeoutException: 当连接HTTP服务器或者等待HttpConnectionManager管理的一个有效连接超时引发该异常。 SocketTimeoutException: 当读取或者接收Socket超时引起该异常。在Apache的HttpClient包中,有三个设置超时的地方:/* 从连接池中取连接的超时时间*/
2017-05-16 09:56:00 5870
原创 SPRING-JDBC多个数据源
SPRINGJDBC: 1、 2、@Service@Lazy(true)public classSpringJdbcDbRunner extends AbstractDbRunner { @AutowiredprivateJdbcTemplate jdbcTemplate; @Overridepubliclong
2017-05-16 09:55:17 3108 1
转载 SPRING事务生效需要的配置
注意:和不同!!!能使@Scheduled(定时任务)生效能使@Transactional生效 1、 2、class="org.springframework.jdbc.datasource.DataSourceTransactionManager"lazy-init="true">3、@transactional注解如果@transacti
2017-05-16 09:53:55 489
转载 curl命令
curlhttp://a.queryOrderResult -d"{\"businessParameters\":{\"partner\":\"270\",\"request_time\":\"20170106185210\",\"sp_user\":\"test\",\"transaction_id\":\"123\"},\"protocolParameters\":{\"chann
2017-05-16 09:52:56 205
转载 NoSql
NoSQL(NoSQL = Not Only SQL),意即"不仅仅是SQL"。 NoSQL 数据库分类文档存储MongoDBCouchDB文档存储一般用类似json的格式存储,存储的内容是文档型的。这样也就有有机会对某些字段建立索引,实现关系数据库的某些功能。key-value存储
2017-05-16 09:51:46 184
转载 httpServletRequest
@ResponseBody@RequestMapping("/sfap-fb.syncTransferAccounts")publicString syncTransferAccounts(HttpServletRequest request) {//日志时间记录longstart = System.currentTimeMillis();StringrequestSt
2017-05-16 09:50:49 177
转载 iBatis中RowHandler处理大数据量的导出
ibatisRowHandler 大数据量导出背景:一次性导出几十万条数据到excel,此时的导出效率会严重损失。解决方法:用ibatis中的RowHandler,一次只处理一条数据,内存中只保持一条数据,导出时每5万条创建一个sheet具体实现方法:MyRowHandler处理类:Java代码 import java.util.Map;
2017-05-16 09:48:47 1872 1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人