- 博客(25)
- 收藏
- 关注
RSS订阅转载 Blog迁移至Jekyll
后续的Blog都将在http://zhwbqd.github.io/ 为您呈现转载于:https://www.cnblogs.com/zhwbqd/p/4232033.html
2015-01-18 18:09:00
135
转载 Drools Fusion (CEP) Example 和 关键概念
Drools Fusion (Complex Event Processing) 是Drools对于复杂事件处理的模块, 与它功能相似的是Esper, 两者都可以提供基于时间跨度和滑动窗口的事件处理, 两者最大的区别可能就在于1. Drools开源, 不支持Distribution, 语法drl, Esper有企业版, 支持Distribution, 语法类SQL看了一下官方文...
2015-01-09 10:52:00
254
转载 Mysql 分组聚合实现 over partition by 功能
mysql中没有类似oracle和postgreSQL的OVER(PARTITION BY)功能. 那么如何在MYSQL中搞定分组聚合的查询呢先说结论: 利用 group_concat + substr等函数处理例如: 订单表一张, 只保留关键字段iduser_idmoneycreate_time115014205...
2015-01-06 13:13:00
1780
转载 GIT使用[git remove untracked working file]
使用GIT进行merge的时候,git merge --no-ff master如果merge之后出现问题, 想进行回退, 可以使用git reset --hard HEAD 来回退到最新的版本, 这时使用git status 可能出现 Untrack file$ git statusOn branch fds_encrypt_confY...
2015-01-05 15:19:00
104
转载 Storm bolt重复消费问题解决
最近碰到一个storm的坑, 两个bolt都需要从kafkaSpout中获取数据进行各自的业务处理, bolt1的处理是幂等的, bolt2的处理是非幂等的, 上线后发现非幂等的bolt处理总是会处理两次, 代码如下://创建拓扑作业 TopologyBuilder builder = new TopologyBuilder(); //1....
2014-12-31 12:20:00
331
转载 tomcat7 中的坑。 关于welcome-list和servlet-mapping
web.xml中， 使用default servlet设置了针对静态资源后缀名的过滤. 并且设置了welcome-list, 使用jetty和tomcat6启动一切正常, 但是使用tomcat7则出现访问不到根节点(/)的情况.后来将红色部分去掉后才正常.原理和更优雅的解决方案:Tomcat 6.0.30之前的security问题:https://issues.a...
2014-12-29 23:35:00
111
转载 java.io.InvalidClassException 异常解决, 实现Serializable接口的注意事项
解决方案: 在类中显式指定ｐｒｉｖａｔｅ static final long serialVersionUID = 42L;类实现序列化接口, 进行序列化反序列化的时候, 抛出 java.io.InvalidClassException 异常java.io.InvalidClassException: com.xx.Xxx; local class incompatib...
2014-11-17 18:55:00
481
转载 maven pom filter 导致的问题记录
Maven提供了一个很不错的功能 Resource Filter, 可以将按不同环境的进行变量赋值, 比如数据库链接, redis, 日志输出位置等等.. 具体的filter如何使用我这里不做介绍, 只是把一些问题记录下来1. spring中使用的如果是 xxx.properties文件中的值, maven的filter会将这些值直接替换掉, 这是我们不想看到的&...
2014-10-30 19:58:00
150
转载 Drools Expression 介绍
用好Drools 中的表达式是你的规则引擎能否强大的必要条件http://docs.jboss.org/drools/release/6.1.0.Final/drools-docs/html_single/index.html下面列出了几个个人认为比较重要的点:ANDDrools 默认的并列表达式就是 前置的AND(and Cheese( cheeseT...
2014-10-24 17:28:00
136
转载 Storm 执行异常 java.lang.RuntimeException: java.nio.channels.UnresolvedAddressException 问题解决...
最近写的 binlog2kafka storm job 上线在一个新的集群环境中(storm 0.9.0.1, kafka 0.8), storm job 运行时报出如下异常:java.lang.RuntimeException: java.nio.channels.UnresolvedAddressException at storm.kafka.ZkCoordina...
2014-10-23 11:01:00
423
转载 Kafka kafka.common.OffsetOutOfRangeException 问题处理
最近公司的zk的down掉了, storm job 重启的时候报出 kafka.common.OffsetOutOfRangeException 异常网上查询了一些朋友的做法, 自己也看了一下代码, 最终还是解决了 原因: zk挂掉的这几天, kafka中之前的数据已经被清掉了, 但是zk中保存的offset还是几天之前的, 导致KafkaSpout要获取的offset超过了当...
2014-10-21 11:55:00
396
转载 Storm worker 并行度等理解
Storm 调优是非常重要的, 仅次于写出正确的代码, 好在Storm官网上有关于worker executors tasks的介绍,http://storm.incubator.apache.org/documentation/Understanding-the-parallelism-of-a-Storm-topology.html这篇文章是收录自这个blog:http://...
2014-10-20 10:38:00
73
转载 Mockito @BeforeClass @BeforeMethod @BeforeTest 的生命周期
@BeforeClass---@AfterClass类实例化前, 被执行, 主要用于设置环境变量等, 与SpringTestContext结合用的时候要注意, 这种情况下@autowire的bean还未实例化@BeforeTest----@AfterTest整个测试类开始前, 被执行, 主要用户塞值, 或者进行mock(Object)的初始化, 此方法只会运行一次@Bef...
2014-09-23 18:15:00
663
转载 Spring @Value 设置默认值
Spring 3 supports${my.server.port:defaultValue}syntax.@Value("${zookeeper.enable:false}") private boolean isZkEnable;done!转载于:https://www.cnblogs.com/zhwbqd/p/3987856.html...
2014-09-23 10:55:00
202
转载 KafkaSpout 重复消费问题解决
使用https://github.com/nathanmarz/storm-contrib来对接Kafka0.7.2时, 发现kafkaSpout总会进行数据重读, 配置都无问题, 也没报错进行debug之后, 发现是由于自己写的blot继承于IBolt, 但自己没有在代码中显示的调用collector.ack(); 导致kafkaSpout一直认为emitted的数据有问题, 超时...
2014-09-17 16:22:00
151
转载 FastJson 输出值 首字母大小写问题
解决方案:1. 如果你的项目由多个模块且为分布式部署, 则可考虑使用设置System.property2. 一般只是极少数的代码出现此情况, 那么建议直接在你的单例Service初始化时, 在静态块中直接改变TypeUtils的变量值, 如果用Spring的话可以使用InitializingBean进行处理TypeUtils.compatibleWithJavaBean ...
2014-09-17 11:14:00
385
转载 Kafka0.7运行时报错 kafka/javaapi/consumer/ConsumerConnector : Unsupported major.minor version 51.0 解决...
目前中央库中 org.apache.kafka 是用jdk1.7编译的, 故跑在1.6的jvm中会报错解决方案:1. 下载kafka源码, 本地sbt进行install, 编译前 java -version确认classpath中的jdk版本是1.62. 编译打包成功后, 进入当前kafka目录的 core/target/scala_2.8.0/, 找到kafka-0.7....
2014-09-14 21:24:00
229
转载 Zookeeper原理与Curator使用
近期打算实现一个基于Zookeeper的分布式的集群状态一致性控制, 对Zookeeper的原理不太了解, 正好学习一下, 网上找到了几篇文章, 先贴在这边, 等我熟读官方文档后, 再来补充自己的见解-----------------------------我是分割线-------------------------------------最近基于Zk实现了一套公司风...
2014-09-12 21:59:00
193
转载 Strom 消息处理机制 中英对照翻译 (Storm如何保证消息被完全处理)
官方链接:http://storm.incubator.apache.org/documentation/Guaranteeing-message-processing.htmlWhat does it mean for a message to be “fully processed”?A tuple coming off a spout can trigger t...
2014-09-08 00:06:00
235
转载 Mac安装 Storm 小结
Strom 安装&部署本地执行:Storm Topology是可进行本地运行的, 必须在发布前进行本地测试, 以确保代码本身业务逻辑没有问题( Windows也可执行, 但是由于权限等原因, 执行时可能会报错, 但不影响执行结果).本地集群执行: Storm的本地集群搭建只能在UNIX架构的系统上执行, 相对于本地测试来说, 本地集群测试可以暴露更多的问题(比如文件路径,...
2014-09-04 23:03:00
269
转载 Zookeeper 日志输出到指定文件夹
最近在研究Zookeeper Storm Kafka, 顺便在本地搭了一套集群, 遇到了Zookeeper日志问题输出路径的问题, 发现zookeeper设置log4j.properties不能解决日志路径问题, 发现解决方案如下:1. 修改log4j.properties, 这个大家都应该会改, 红色加粗处是我修改的, 但是改了这边还是不生效# Define some de...
2014-09-04 22:50:00
130
转载 MySQL索引优化-from 高性能MYSQL
Btree:1. 尽量使用覆盖索引, 即三星索引2. 多列索引如果带范围的话, 后续列不会作为筛选条件3. 多列索引应选择过滤性更好的充当前缀索引4. 尽量按主键顺序插入, 减少页分裂, 采用自增ID在高并发情况下, 可能造成明显征用, 或者更改innodb_autoinc_lock_mode配置.Hash:1.只有精确匹配所有列的查询才有效, 对于每行数据...
2014-07-02 16:07:00
88
转载 Transaction事务注解和DynamicDataSource动态数据源切换问题解决
问题描述: 写主库开事务的情况下会导致时不时的将更新/插入操作写入到从库上, 导致mysqlException update command denied问题原因: jetty的工作队列会重用处理线程, 导致threadLocal中的值被重用, 然而transaction注解在service层, 他会在DynamicDataSourceSwitch被设置之前直接去th...
2014-05-28 14:34:00
690
转载 Redis使用经验之谈
应用场景保存用户喜欢的商品信息.类型: Hash，key: usr:${type_id}:${version_id}:${user_id}:${warehouse_id},field: ${sku_id},value: jsonstr(sku对应的brand, goods, 来源渠道等信息) 记录用户喜欢的商品所在档期的数目.类型: ZSet,ke...
2014-05-22 15:16:00
63
转载 TCP与HTTP连接管理
一. HTTP事务时延原因(HTTP权威指南 P86)1.客户端首先需要根据URI确定WEB服务器的IP和端口号, 那么DNS解析上花的时间会很多(大多数HTTP客户端会有一个小的DNS缓存)2. 客户端会向服务器发送建立TCP连接请求, 每个请求建立会耗时间, 如果HTTP事务多的话, 这个时间会明显提高3. 一旦连接建立, 客户端会通过此TCP管道来发送HTT...
2014-04-03 11:49:00
104
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人