冷风

不断归零

自定义博客皮肤

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

scrapy与redis结合实现服务化的分布式爬虫

很多场景下应该都有这样的需求:需要一个组件,向它输入一组url,要求返回这些url请求后的结果,当然这些结果通常需要一些必要的解析、规范化和结构化(比如json)。有的场景不要求系统有很高的吞吐量,有时则需要系统处理大量的请求。这时候就需要构建一个可扩展的爬虫服务,在没有任务的时候等待任务到来,一...

2017-02-10 16:05:05

阅读数 4324

评论数 0

zorba3.0的编译安装与python binding的使用

自己的项目必须用一个全功能的xquery引擎,并要在python中调用,找了很久只找到了zorba,但是xquery本身非常冷门,zorba也是找不到用武之地,活跃度非常小,导致文档的结构与排版非常奇葩而且文档和源码有两处错误,再加上zorba本身需要很多的第三方包支持,我第一次尝试编译zorba...

2017-01-09 15:20:14

阅读数 549

评论数 0

json字符串转成java的map与list复合对象的解决方法

开发时需要将json字符串转成java的map和list,找了半天竟然没有一个现成的的包支持这种功能!不可思议,苦苦在stackoverflow上求医问药,终于找到jackson的一个特性,可以生成json的节点树,这才终于解决了这个头疼的问题。 代码引用了jackson2.7.3的两个包:   ...

2016-09-27 15:18:14

阅读数 1881

评论数 0

对照java和spring理解python中单例模式的装饰器方法

python的对象管理机制与java思路不同,刚刚接触,对python的对象管理和反射(java才有)不太清楚。最近遇到了一个问题:在一个任务队列末端的worker不断监控队列中的消息,并执行相应的任务,每次执行时都会调用一个数据库交互工具类,由于不像spring那样是ioc的,所以每次执行任务,...

2016-04-08 12:21:14

阅读数 1319

评论数 0

记一次hive的内存溢出(OutOfMemoryError: Java heap space)排查

刚刚从java组转岗找数据组,学习大数据的知识,开发语言也从java转到python新奇之外也遇到了诸多问题,其中最令我头疼的就是在hive上的统计任务总是三天两头地报告OutOfMemory一开始因为有别的同事的任务干扰,我以为是计算资源不够导致的,但后来把任务转移到了另一个集群后,问题仍然存在...

2015-12-28 14:41:13

阅读数 13774

评论数 3

用户自定义排序功能的设计思路

需要做一个用户自定义排序的功能,本来并不觉得麻烦,但是做着做着发现,里面的问题很值得好好思考一下。 用户自定义排序的数据库设计很简单,无非是对需要排序的条加一个排序字段,但麻烦之处主要在于这个字段的更新过程。 如果用简单的1、2、3、4作为排序字段,那么把4移到1前面的情况下,原先的1~3都需要+...

2015-05-29 11:14:41

阅读数 5731

评论数 0

java包装类的比较、hash和CollectionUtils交集原理探究

连等(==)比较的适用与不适用场景; HashSet的去重机制; CollectionUtils.intersection()的去重规则;

2015-05-22 14:15:18

阅读数 1794

评论数 0

GZIPInputStream read()方法中的巨坑

问题现象: 在从.gz文件中按一定缓存大小读取文件时,会莫名其妙地出现重复读取让此一读过的数据: 例如,第一次: abcdefghi 第二次读取成了: jkldefghi 原因: 百思不得其解,后来看网络上有说法说read方法不一定将缓存填满。 于是上述现象得到了解释,即第二次其实只读到了jkl这...

2014-10-23 15:47:30

阅读数 4887

评论数 0

理解MySql事务隔离机制、锁以及各种锁协议

一直以来对数据库的事务隔离机制的理解总是停留在表面,其内容也是看一遍忘一边。这两天决定从原理上理解它,整理成自己的知识。查阅资料的过程中发现好多零碎的概念如果串起来足够写一本书,所以在这里给自己梳理一个脉络,具体的内容参考引文或在网上搜一下。由于平时接触最多的是MySQL,所以文章中某些部分是My...

2014-08-22 18:29:23

阅读数 5385

评论数 7

ehcache object key的实现原理

这几天为了设计缓存机制,查阅了很多缓存方面的资料,作为没有实战经验的小白自然被各种性能报告、内存机制、集群方式搞得一头雾水。但查了这些资料后,对各个cache的特点有了感性的了解。 ehcache是最后调研的cache,他有个明显不同的地方:缓存中的键和值都可以是object类型的对象。只可以是o...

2014-07-23 18:08:16

阅读数 3793

评论数 2

quartz集群调度机制调研及源码分析

quartz2.2.1集群调度机制调研及源码分析 引言quartz集群架构调度器实例化调度过程 触发器的获取触发trigger:Job执行过程: 总结:附: 引言 quratz是目前最为成熟,使用最广泛的java任务调度框架,功能强大配置灵活.在企业应用中占重要地位.quratz在...

2014-05-26 16:19:36

阅读数 9299

评论数 4

Quartz recovery 及misfired机制的源码分析

quartz作为成熟的任务调度系统对系统的异常及崩溃后处理机制有很好的设计,以保证整个调度过程是一个逻辑闭环,任何阶段出现的问题都可以通过框架中的机制尽最大限度的弥补,并将系统的状态引向正轨。 首先要明确的是:quartz如果在执行具体任务时,在任务执行过程中抛出异常,那么不...

2014-05-26 16:14:40

阅读数 5549

评论数 1

生成时间轴:记录你的生活轨迹——facebook工程师讲述时间轴的开发始末

时间轴对于Facebook来说不仅是一个新特性,也是这一产品中一个卓越而精彩的工程典范。我们之前的新鲜事页面展示了最近几天或几周的活动,但是从一开始我门就知道,对于时间轴这项功能,我们要从几年甚至几百年的角度来考虑。我们需要以很高的效率对日志、分享、照片、签到等信息进行遍历、聚合、排序,已呈现出这...

2014-02-26 17:05:29

阅读数 1795

评论数 0

spring mvc No mapping found for HTTP request with URI [] in DispatcherServlet

第一次做自己的spring mvc项目,碰到了一个无比奇怪的问题:以前自己写的demo都是好好地,写项目时把各种配置粘在对应的位置上后spring却报了404,控制台上有这样的日志: 警告: No mapping found for HTTP request with URI [/xxxx/yyy...

2013-12-15 19:48:20

阅读数 4418

评论数 0

spring AOP对多个增强的配置方式

spring AOP对多个增强的配置方式

2013-11-14 23:49:37

阅读数 613

评论数 0

spring学习笔记——引用bean的属性值,动态管理网站参数与菜单项

我所在公司的开发框架很陈旧,功能上也有很多bug,唯一让我觉得NB的是这框架可以动态调整自己的界面菜单、子菜单,动态配置权限和各种参数。一直想知道这种功能的实现方式,今天看书,发现spring中对bean属性的引用功能可以很容易的把分散在各处的系统参数维护在数据库中。又拿出第一篇写的demo,修改...

2013-11-12 22:52:46

阅读数 901

评论数 0

spring学习笔记——摘录:对properties文件引用的两种方法

平时项目中常用到properties文件作为配置项的管理,在spring中必然少不了这种配置,引用properties有几种不同的方法在此罗列出来: 方法一: <bean class="org.springframework.beans.factory.config.Prope...

2013-11-12 00:15:05

阅读数 2109

评论数 1

spring学习笔记——spring框架bean装配流水线

物料组件:Resource,BeanDefinition,PropertyEditor等 加工设备组件:ResourceLoader,BeanDefinitionReader,BeanFactoryPostProcessor,InstantiationStrategy等 Resource(xm...

2013-11-11 14:07:13

阅读数 867

评论数 0

spring学习笔记——spring Hello world 普通java项目版 分析类的加载与装配

上一篇展示了spring的web版hello world,本篇来一个普通java项目中运用spring的demo,里面有对singleton与prototype的讨论,可以很清晰的看到spring对实体的注入策略。 因为是个demo,后来看工厂后处理器以及bean前、bean后处理器的时候加入了...

2013-11-11 13:49:51

阅读数 2094

评论数 0

Spring中各Schema的作用

图片来自《Spring3.x企业应用实战》

2013-11-11 13:07:16

阅读数 3372

评论数 0

提示
确定要删除当前文章?
取消 删除