生活不只*眼前的苟且-CSDN博客

转载双数组Trie树(DoubleArrayTrie)Java实现

双数组Trie树(DoubleArrayTrie)是一种空间复杂度低的Trie树，应用于字符区间大的语言（如中文、日文等）分词领域。双数组Trie (Double-Array Trie)结构由日本人JUN-ICHI AOE于1989年提出的，是Trie结构的压缩形式，仅用两个线性数组来表示Trie树，该结构有效结合了数字搜索树(Digital Search Tree)检索时间高效的特点

2017-08-07 10:31:17 1187

转载查看指定进程io状态的iotop命令

iotop命令是一个用来监视磁盘I/O使用状况的top类工具。iotop具有与top相似的UI，其中包括PID、用户、I/O、进程等相关信息。Linux下的IO统计工具如iostat，nmon等大多数是只能统计到per设备的读写情况，如果你想知道每个进程是如何使用IO的就比较麻烦，使用iotop命令可以很方便的查看。 iotop使用Python语言编写而成，要求Python2.5（及以上版本）

2017-07-31 16:45:14 2423

MongoDB数据库中操作单个文档总是原子性的，然而，涉及多个文档的操作，通常被作为一个“事务”，而不是原子性的。因为文档可以是相当复杂并且包含多个嵌套文档，单文档的原子性对许多实际用例提供了支持。尽管单文档操作是原子性的，在某些情况下，需要多文档事务。在这些情况下，使用两阶段提交，提供这些类型的多文档更新支持。因为文档可以表示为Pending数据和状态，可以使用一个两阶段提交确保数据是一致的，在

2017-07-28 15:04:28 629

原创 Java读取图片时抛Unable to render RenderedOp for this operation

后台http接口读取图片的代码如下，使用的是JAI方式：byte[] buf = IOUtils.toByteArray(req.getInputStream()); PlanarImage image = null;ByteArraySeekableStream stream = new ByteArraySeekableStream(buf);image =

2017-07-17 15:47:37 3338

原创 Error during artifact deployment. See server log for details解决办法

我在Intellij idea 新建了一个项目，但是发现启动的时候报了如下错误：Error during artifact deployment. See server log for details看这说法，应该就是artifact没有配置好所以，点击“File” -> "Project structure" ，选择Artifacts，点击＋号，选择Web ...

2017-07-03 11:04:10 41066 3

转载 LSM树（Log-Structured Merge Tree）存储引擎

LSM树（Log-Structured Merge Tree）存储引擎代表数据库：nessDB、leveldb、hbase等核心思想的核心就是放弃部分读能力，换取写入的最大化能力。LSM Tree ，这个概念就是结构化合并树的意思，它的核心思路其实非常简单，就是假定内存足够大，因此不需要每次有数据更新就必须将数据写入到磁盘中，而可以先将最新的数据驻留在磁盘中，等到积累到最后多之后，

2017-07-03 09:38:51 497

原创 Spring源码分析之doDispatch分发请求逻辑

首先，我的另外一篇博客已经讲述了DispatcherServlet的整个初始化过程，地址如下：http://blog.csdn.net/u011734144/article/details/74136168下面说说DispatcherServlet是如何分发请求的分发请求是由该类的doDispatch方法来完成的，先看下具体代码protected void doDispat

2017-07-02 19:47:04 674

原创 Spring源码分析之doDispatch分发请求逻辑

首先，我的另外一篇博客已经讲述了DispatcherServlet的整个初始化过程，地址如下：http://blog.csdn.net/u011734144/article/details/74136168下面说说DispatcherServlet是如何分发请求的分发请求是由该类的doDispatch方法来完成的，先看下具体代码protected void doDispatch

2017-07-02 19:12:38 206

原创 Spring源码分析之SpringMVC的DispatcherServlet是如何处理Http请求的

一般我们会在web.xml文件中配置DispatcherServlet，比如如下配置方式：<servlet> <servlet-name>dispatcherServlet</servlet-name> <servlet-class>org.springframework.web.servlet.Dispa...

2017-07-02 17:43:31 1702

原创 Full details will be found in the appropriate container log 解决办法

启动tomcat的时候报如下错误：log4j:WARN No such property [maxFileSize] in org.apache.log4j.DailyRollingFileAppender.log4j:WARN No such property [maxBackupIndex] in org.apache.log4j.DailyRollingFileAppender.--

2017-06-29 15:46:51 7960

原创 python部署thrift服务以及客户端

第一步：定义接口文件名：parse.thrift内容如下： service Parse { string parseHtml2Xml(1:string html) }第二步：在thrift接口所在目录执行thrift命令# thrift --gen py parse.thrift这步会在当前目录生成gen-py文件夹如果是...

2017-06-28 15:39:16 9987 1

原创 Spring源码分析之ProxyFactoryBean方式实现Aop功能的分析

实现Aop功能有两种方式，1. ProxyFactoryBean方式：这种方式是通过配置实现2. ProxyFactory方式：这种方式是通过编程实现这里只说ProxyFactoryBean方式首先说下具体的配置，一个例子如下：<bean id="testAdvisor" class="com.abc.TestAdvisor" <property nam...

2017-06-18 19:36:40 6125

原创 Spring源码分析之Aop中拦截器,适配器,通知之间的关系

首先举一个例子：public class MethodBeforeAdviceInterceptor implements MethodInterceptor, Serializable { private MethodBeforeAdvice advice; /** * Create a new MethodBeforeAdviceInterceptor for the...

2017-06-18 18:43:23 1863

原创 JedisPool.getResource()方法卡死的解决办法

我在执行redis的操作的时候，发现pool.getResource()方法卡死，代码如下：public boolean sismember(String key, String value) { Jedis jedis = null; try { jedis = pool.getResource(); //这里卡死

2017-06-16 09:37:50 14652 2

原创 python线程卡死问题解决

1. top命令和日志方式判定卡死的位置python代码忽然卡死，日志不输出，通过如下方式可以确定线程确实已经死掉了：# top 命令top命令可以看到机器上所有线程的执行情况，%CPU和%MEM可以看出线程消耗的资源情况由于机器上线程数量太多，可能要查看的线程的信息在top命令当前屏幕上显示不出来可以通过如下方式查看在top命令下输入:u接下来会提示输入用户名，就可以查看...

2017-06-15 14:41:53 23944 2

转载淘宝开源Key/Value结构数据存储系统Tair技术剖析

原文地址：http://www.infoq.com/cn/articles/taobao-tair今天无意中看到Tair这个东西，跟Redis有点类似，Tair的设计思想有些是值得学习的。Tair是由淘宝网自主开发的Key/Value结构数据存储系统，在淘宝网有着大规模的应用。您在登录淘宝、查看商品详情页面或者在淘江湖和好友“捣浆糊”的时候，都在直接或间接地和Tair交互。

2017-06-08 10:05:06 614

原创 openjdk7的ImageIO.read()导致jvm异常crash

首先服务器用的是openjdk7，下面是读取图片的代码public static JSONObject getPicDetail(String picPath) { JSONObject picObj = new JSONObject(); try { File picFile = new File(picPath);

2017-06-05 10:40:11 5271

原创查看tomcat管理信息

参考文档：http://wiki.jikexueyuan.com/project/tomcat/manager.html对于tomcat服务器，想查看服务器的状态，Java虚拟机的参数，session，连接数等，可以通过如下方法修改tomcat的文件，$CATALINA_BASE/conf/tomcat-users.xml，添加角色信息这样账

2017-05-27 19:40:32 707

原创 Spring源码分析之lazy-init属性的配置

AbstractApplicationContext类默认在容器初始化的过程中就会执行依赖注入，即等价于配置lazy-init属性为false，bean的配置如下：<?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans" ...

2017-05-22 23:15:33 3612 2

原创 Spring源码分析之BeanPostProcessor接口和BeanFactoryPostProcessor接口方法不执行原因分析

2017-05-21 18:53:10 2681 1

原创 Spring IOC学习心得之源码级分析ContextLoaderListener的作用(IOC容器初始化入口)

ContextLoaderListener类是负责初始化IOC容器，即在我们的web项目中，这里就是IOC容器初始化的入口，由这个类启动IOC容器的初始化。它配置在web.xml中，比如如下配置：<context-param> <param-name>contextConfigLocation</param-name> ...

2017-05-12 18:22:17 673

原创一款好用的切换目录的工具autojump

在命令行中切换目录是最常用的操作，不过很少有比一遍又一遍重复“cd ls cd ls cd ls ……”更令人沮丧的事情了。如果你不是百分百确定你想要进入的下一个目录的名字，那么你不得不使用ls来确认，然后使用cd来进入你想要进的那一个。所幸的是，现在大量的终端和shell语言提供了强大的自动补全功能来处理该问题。但是，你仍然需要一直疯狂地敲击TAB键来干这事。如果你和我一样懒惰，你一定会对aut

2017-05-12 10:42:36 1058

原创 requests有意思的proxies参数-何时使用代理有效

现在要访问一个目标地址是http的地址：http://icanhazip.com/，这个地址可以获取机器的外网ip理论上，由于上述地址是http的，所以使用http代理会通过代理访问该地址，即res =requests.get('http://icanhazip.com/', proxies={'http':'adcd.websd.zdw.vdm.tded:8080'})print r...

2017-05-12 10:11:20 17739 2

原创多线程下载工具axel

axel是一款多线程下载工具，下载文件时，可以替代curl, wget命令使用方式如下：# axel -n 20http://centos.edue.cn/isos/x86_64/Cebtis-7-sdf-1393.is我们可以看到多个线程在并行下载

2017-05-10 10:24:09 1152

原创能取代top命令的htop

# yum search htop搜索到如下结果：htop.x86_64 : Interactive process viewer# yum install htop安装完成后，执行命令# htop得到了更完美的信息展示，主要是能清楚的看到每个进程启动的时候执行的命令，也就是Command那行

2017-05-10 10:20:02 531

原创 shell命令行直接处理json的jq命令

有的时候，文件里面存储的都是json数据，但是我们想提取出某个字段出来，麻烦，反正我每次都要写python代码用simplejson来处理最近发现一款好用的工具，jq命令安装如下：# yum search jq搜索到了一个结果：jq.x86_64于是我在root权限了执行了安装# yum install jq安装完成后，进行处理# cat file

2017-05-10 10:06:33 6600

原创 mybatis,mysql,datasource,dpcb连接池的关系

datasource是配置数据源，顾名思义就是数据的来源，在数据源中可以配置数据是从何而来，可以是mysql，也可以是oracle，所以可以如下配置beanid="dataSource"class="org.apache.commons.dbcp.BasicDataSource"destroy-method="close">propertyname="driverClass

2017-04-29 12:30:41 1787

原创 Scrapy框架的用法实例

首先执行如下命令创建一个scrapy项目# scrapy startproject projectName主要有如下几个核心文件：items.py: 在项目的根目录middlewares.py: 在项目的根目录pipelines.py: 在项目的根目录projectName.py: 在spiders目录settings.py: 在项目的根目录我的实例是爬取和讯

2017-04-06 18:48:33 2062 2

原创又一次Java线程卡死的调试经历

我的java代码，每天凌晨1点都会执行一个定时任务，定时任务中有循环执行的任务，每次循环都有开始和结束日志，某一天，我忽然发现，日志中前一天的循环只执行了几次就停止了，根据日志来看，执行到第4次循环的时候，只有开始的日志，没有结束的日志，那肯定是在里面卡死了我首先执行# ps -ef | grep tomcat获取到了线程的pid然后执行jstack# jstack -l 1...

2017-03-15 10:26:25 61580 4

转载 java中线程的状态以及线程栈分析

java中线程的状态状态说明NEW初始状态。线程刚刚被创建，并且start()方法还未被调用RUNNABLE运行状态。表示线程正在java虚拟机中执行，但是可能正在等待操作系统的其他资源，比如CPUBLOCKED阻塞状态。表示线程正在等待监视器锁。表示线程正在等待获取监视器锁，以便进入同步方

2017-03-09 18:48:10 3766

转载怎样分析 JAVA 的 Thread Dumps

当有障碍，或者是一个基于 JAVA 的 WEB 应用运行的比预期慢的时候，我们需要使用 thread dumps。如果对于你来说， thread dumps 是非常复杂的，这篇文章或许能对你有所帮助。在这里我将解释在 JAVA 中什么是 threads，他们的类型，怎么被创建的，怎样管理它们，你怎样从正在运行的应用中 dump threads，最后你可以怎样分析它以及确定瓶颈或者是阻塞线程

2017-03-09 18:41:46 513

原创 jstack命令分析

首先说下jstack命令执行结果的一个例子# jstack -l 26874结果如下："RMI Scheduler(0)" daemon prio=10 tid=0x0000000000840000 nid=0x6939 waiting on condition [0x0000000043c3a000] java.lang.Thread.State: TIMED_WAITING

2017-03-09 17:52:17 1760

原创 Hadoop系列之FieldSelectionMapReduce用法

Hadoop的工具类org.apache.hadoop.mapred.lib.FieldSelectionMapReduce帮助用户高效处理文本数据，就像unix中的“cut”工具。工具类中的map函数把输入的key/value对看作字段的列表。用户可以指定字段的分隔符（默认是tab），可以选择字段列表中任意一段（由列表中一个或多个字段组成）作为map输出的key或者value。同样，工具

2017-03-08 11:45:37 603

转载 Hadoop系列之Aggregate用法

1. aggregate简介aggregate是Hadoop提供的一个软件包，其用来做一些通用的计算和聚合。Generally speaking, in order to implement an application using Map/Reduce model, the developer needs to implement Map and Reduce functions (an

2017-03-08 11:43:36 1037

转载 Hadoop系列之DistributedCache用法

DistributedCache是Hadoop提供的文件缓存工具，它能够自动将指定的文件分发到各个节点上，缓存到本地，供用户程序读取使用。它具有以下几个特点：缓存的文件是只读的，修改这些文件内容没有意义；用户可以调整文件可见范围（比如只能用户自己使用，所有用户都可以使用等），进而防止重复拷贝现象；按需拷贝，文件是通过HDFS作为共享数据中心分发到各节点的，且只发给任务被调度到的节点。本文将介绍Di

2017-03-08 10:43:58 394

原创 Hadoop系列之Reporter,Partitioner,JobConf, JobClient

Reporter用于报告进度，设定应用级别的状态消息，更新Counters（计数器），或者仅是表明自己运行正常例如如下代码public void map(LongWritable key, Text value, OutputCollector output, Reporter reporter) throws IOException { String line =

2017-03-07 18:57:26 1228

原创 Hadoop系列之OutputCollector

该接口的代码如下public interface OutputCollector { void collect(K var1, V var2) throws IOException;}OutputCollector 由 Hadoop 框架提供, 负责收集 Mapper 和 Reducer 的输出数据，实现reduce 函数时，只需要简单地将其输出的对往 OutputColle

2017-03-07 18:50:00 3997 1

原创 Hadoop系列之InputFormat,OutputFormat用法

首先看下表该接口的代码public interface InputFormat { InputSplit[] getSplits(JobConf var1, int var2) throws IOException; RecordReader getRecordReader(InputSplit var1, JobConf var2, Reporter var3) throw

2017-03-07 18:20:31 1512

原创 Hadoop系列之ToolRunner与GenericOptionsParser用法

首先给一个ToolRunner类的实例package hadoop.study;/** * Created by denglinjie on 2017/3/7. */import java.util.Map.Entry;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Config

2017-03-07 17:37:19 2077

原创 Unsupported major.minor version 52.0解决

最近开始玩hadoop，按照慕课网的教程，写好了WordCount类，代码如下：package hadoop.study;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.

2017-03-06 17:30:16 2085

mysql-5.1.69.tar.gz

httpd-2.2.20.tar.gz

apache+php+mysql的嵌入式移植详细过程

arm-linux-gcc-4.4.3.tar.gz

apache+sqlite+php的嵌入式移植

空空如也