Aronlulu-CSDN博客

原创 redis参数说明备份

 daemonize: 默认情况下，redis不是在后台运行的，如果需要在后台运行，把该项的值更改为yes  pidfile 当 Redis 在后台运行的时候，Redis 默认会把 pid 文件放在/var/run/redis.pid，你可以配置到其他地址。当运行多个 redis服务时，需要指定不同的pid文件和端口  bind 指定Redis只接收来自于该...

2011-11-06 17:37:30 157

原创（转）五十音图记忆法

个人学习中觉得还是不错的，挺多地方见到了转帖，贴出来给大家看看，就是无论如何无法判断原作者是谁了，所以无法注明了，囧……日语五十音快速记忆方法（转）日语的五十音对于大多数初学者来说都是比较困难的，虽说熟能生巧，但是死记硬背要用去很多时间和精力，效果也不见得好。我觉得比较好的方法就是联想记忆法，这篇文章参考了网上流传的《日语五十音图快速记忆法》，更多的是结合自己的经验，总结出一些记忆...

2011-05-10 10:18:52 291

原创 SecondaryNameNode备份流程（CheckPoint具体流程）

SecondaryNameNode有两个作用，一是镜像备份，二是日志与镜像的定期合并。两个过程同时进行，称为checkpoint总共分五步：1.SecondaryNameNode通知NameNode准备提交edits文件，此时主节点产生edits.new2.SecondaryNameNode通过http get方式获取NameNode的fsimage与edits文件（在Second...

2011-05-05 17:25:14 530

原创 Java IO读写大文件的几种方式及测试

读取文件大小：1.45G第一种，OldIO:[code="java"] public static void oldIOReadFile() throws IOException{ BufferedReader br = new BufferedReader(new FileReader("G://lily_947.txt")); PrintWriter pw = new ...

2011-04-26 13:59:48 191

原创最简单的适配器解释

适配器就是起适配的作用：一个方法只接受A接口，如何让他接受B接口呢，很简单，写个适配器：[code="java"]package test;public class AdapterTest { interface A{} interface B{} class C{ void accept(A a){} } class Aadapt...

2011-04-21 16:29:10 167

原创 mapreduce过程分析

淘宝数据平台团队给出的分析过程[url]http://www.tbdata.org/archives/1470[/url]比较全面。这里还要注意的是关于combiner,设置combiner函数后整个mapreducer过程中其实有三处地方会调用到。第一处是map端数据从内存spill到文件的时候，这个时候会在环形缓冲区中进行分区及key的排序，然后调用combiner函数来压缩写...

2011-04-18 16:24:43 141

原创 hadoop保留mapreduce过程中的中间文件

今天在做hadoop测试时想保留map过后的中间文件，试了几次，发现通过以下设置可解决。 keep.failed.task.files true keep.task.files.pattern * 这样所有中间临时文件都会被保存，map临时文件位于{hadoop.tmp.dir}/mapred/local/tasktracker/...

2011-04-15 15:50:40 515

hadoop0.20.2中的API进行了大幅度的重构，导致很多API变成了@Deprecated，而新的API又不全，所以新手学起来感觉很变扭，社区开发者还是建议用hadoop0.20.2的可以沿用老版的API，本着学习的态度，用新的API添加了KeyValueTextInputFormat这个在老版API中存在的类，实际上是对TextInputFormat进行了小幅的修改。[code="ja...

2011-04-08 10:42:45 221

原创 hadoop中的Partitioner分区

hadoop的map/reduce中支持对key进行分区，从而让map出来的数据均匀分布在reduce上，当然，有时候由于机器间配置问题，可能不需要数据均匀，这时候也能派上用场。框架自带了一个默认的分区类，HashPartitioner，先看看这个类，就知道怎么自定义key分区了。public class HashPartitioner extends Partitioner { ...

2011-04-08 10:31:45 368

原创 MapReduce二次排序

默认情况下，map后会对key进行默认排序，但是有时候需要对key排序的同时再对value进行排序，这时候就要用到二次排序，一步到位。原理很简单，就是改变key，map完成后进入reduce之前排序已完成，mapreduce，只能对key来排序，如何做到对key排序的同时又对reduce排序呢？就是改变key，将value跟key结合起来作为新key,这个新key可以是自定义数据结构，也可...

2011-04-04 15:15:22 261

原创自定义Writable实现类

[code="java"]public class ContentWritable implements Writable{ private Text before; private IntWritable num; //默认的构造函数必须写，不然会出NullPointException异常，而且必须默认初始化成员变量，不知道为何，看底层是反射实例化的，估计跟这个...

2011-04-01 09:43:29 228

原创 hadoop自定义Counter

hadoop0.20.X版本中对counter进行了改进，具体写法如下，mark一下[code="java"]public static class TokenizerMapper extends Mapper{ private final static IntWritable one = new IntWritable(1); priva...

2011-03-30 11:57:43 169

原创构建多HMaster节点的hbase集群

hbase支持多节点hmaster的集群，热备效果有待试验。构建多Hmaster时首先确保你的单Hmaster集群构建正确并且完美启动。剩下的工作很简单。在另一台HMaster的机器上配置hbase.master为这台机子的hostname并且启动hmaster即可，这样这台hmaster会自动去连接已启动的zookeeper与HRegionServer。启动脚本：在bin目录下，...

2011-03-14 15:55:49 361

原创 hadoop报错Cannot assign requested address

namenode与JobTrack分开部署后，在namenode端启动hadoop时报错：Caused by: java.net.BindException: Cannot assign requested address找了很久也没找到原因，最后发现是自己理解上的错误分开部署后其实是两台电脑负责控制整个hadoop集群，一台负责dfs，一台负责mapreduce，所以不能简单从一台n...

2011-03-13 20:34:42 468

原创构建hadoop多种环境时简单切换办法

hadoop提供了三种环境，单机运行，单机模拟伪分布运行，以及真分布运行。今天看到一个简单的在这三种运行环境之间切换的方法。在HADOOP_HOME底下建三个conf目录，分别为conf_a,conf_b,conf_c，分别对应三种环境的运行配置，接下来切换就简单了：想切换到a,只需要停服务，ln -s conf_a conf，然后启服务。b和c也是同理。...

2011-03-04 09:36:56 184

原创 RHEL5 JDK6 安装配置及示例

RHEL5 JDK6 安装配置及示例 (Red Hat Enterprise Linux 5)2010-08-02 11:15JDK1.6 下载： http://java.sun.com/javase/downloads/widget/jdk6.jsp我下载的是jdk-6u18-linux-i586-rpm.bin首先卸载rhel5自带的jdk：(命令)yum remove...

2011-02-24 11:57:05 154

原创 Mysql扩展之分库分表概述

数据库的复制能解决访问问题，并不能解决大规模的并发写入问题，要解决这个问题就要考虑mysql数据切分了数据切分，顾名思义，就是数据分散，将一台主机上的数据分摊到多台，减轻单台主机的负载压力，有两种切分方式，一种是分库，即按照业务模块分多个库，每个库中的表不一样，还有一种就是分表，按照一定的业务规则或者逻辑将数据拆分到不同的主机上，每个主机上的表是一样的，这个有点类似于Oracle的表分区。...

2010-10-22 11:04:50 153

原创 Mysql扩展之replication概述

闲来无事，平时Oracle用的多，想看看mysql的一些知识，每天总结一下：mysql在互联网领域用的如此广泛很大一部分原因是是源于它的replication机制，简单实用，几台PC机子，很容易提高性能，乃中小网站必备良方。首先什么情况下要扩展数据库，建个网站，建个数据库，某一天网站火了，访问量暴增，意味着从你服务器上读网页的连接多了，IO瓶颈来了，自然想多加几台机子来分担压力，但...

2010-10-21 16:27:55 144

原创 java动态加载class

今天在群里遇到个需求：项目是7*24小时的，要扩展一些需求，不能停服务，意思是想动态部署jar包，问我有啥想法没。我想了一下，水平集群扩展呗（显然不太现实，也别扭），程序上无非就是classloader动态加载class，我初步设想是起个程序监听一下，有jar包加进来，就扫描jar包循环loader class，其中当然还有些细节问题，加载完后怎么调用，可以用反射+配置文件，大体思路就是这样，...

2010-09-15 11:38:18 134

原创关于对FactoryBean使用BeanPostProcessor的问题

简述问题：写个bean:[code="java"]public class BeanTest{}[/code]写个定制扩展：[code="java"]public class TestBeanPostProcessor implements BeanPostProcessor,Ordered{ public Object postProcessAfterInit...

2010-08-06 22:51:21 269

原创 Tapestry3自定义组件

tapestry早就步入annotation时代了，公司用的还停留在3.0时代，不过3.0确实比较经典，tapestry4,5正在一步步迷失自己。用tapestry无非就为了四个字：基于组件。tapestry3自定义组件有两种方式，一种就是原始的print方式后台一点点画组件然后渲染到前台，还有种就是画好html模版，后台纯粹传参数来渲染组件。先是第一种，第一种继承AbstractCo...

2010-08-02 21:47:37 321

原创让DbUtils支持NamedParameter方式的sql

DbUtils代码很精悍，很多中小型项目都用它来编写持久层，但是不够强大，平时用习惯了spring jdbc的NamedParameter方式的sql（形如：select * from user where name=:name）,总觉得还缺点功能，干脆仿照spring jdbc写个类似的sql处理方法，造个小小小轮子，代码留念：[code="java"]import java.util....

2010-07-24 00:44:33 524

原创 spring新体会

看源代码时发现spring核心IOC分为三大部分，bean,context,core,bean无非是对bean的包装操作及bean工厂的定义描述，context则是定义bean之间关系这一层面的，对本身bean所处容器的环境进行描述，提供工厂的对外关系，core则是工具包，其实叫util觉得更好，一张spring网就这样编织成了，其他所有胶水模块都围绕着这个IOC，spring的AOP也不外乎是在...

2010-06-24 11:28:38 103

原创 jquery-autocomplete的用法及参数

var emails = [ { name: "Peter Pan", to: "peter@pan.de" }, { name: "Molly", to: "molly@yahoo.com" }, { name: "Forneria Marconi", to: "live@japan.jp" }, { name: "Master Sync

2010-06-09 15:24:47 103

原创 POI eventmode方式读取excel

代码备份：[code="java"]package cn.easyweb.common.poi.eventmode;import java.io.FileInputStream;import java.io.InputStream;import org.apache.poi.hssf.eventusermodel.HSSFEventFactory;import or...

2010-05-31 14:01:20 697

原创 httpcilent实例

httpclient主要用到get与post方式：get:[code="java"] DefaultHttpClient httpClient = new DefaultHttpClient(); HttpGet httpGet = new HttpGet("http://........"); HttpResponse response = httpClient.exe...

2010-05-28 17:08:12 324

原创 HtmlParser实例

HtmlParser有三种解析方式，visitor模式，filter模式，bean模式filter模式[code="java"]public List parserByFilter(URL url) throws ParserException, MalformedURLException{ List result = new ArrayList(); Parser par...

2010-05-28 16:59:34 95

原创 HTTP协议详解

Author :Jeffrey My Blog：http://blog.csdn.net/gueter/ 引言 HTTP是一个属于应用层的面向对象的协议，由于其简捷、快速的方式，适用于分布式超媒体信息系统。它于1990年提出，经过几年的使用与发展，得到不断地完善和扩展。目前在WWW中使用的是HTTP...

2010-05-26 17:22:09 123

原创 lucene实践小例

最近要用到lucene，看了一下文档，动手写个小例子。电脑中有N多pdf文档，不方便查找，索性写个搜索这个的小工具。建索引的类：[code="java"]import java.io.File;import java.io.FileInputStream;import java.util.Date;import org.apache.lucene.analysis....

2010-05-17 17:28:04 118

Spring aware接口及FactoryBean

spring备忘录：spring提供了很多*aware接口，比较常用的就是BeanFactoryAware,ApplicationContextAware,BeanNameAware实现这些接口的Bean则能获得相应的BeanFactory,ApplicationContext实例，从而能直接获得容器信息。FactoryBean接口作用就是封装自己定制的实例化逻辑(例如你想用工厂模...

2010-05-01 15:32:42 110

浅谈java缓存

[size=medium] java中要用到缓存的地方很多，首当其冲的就是持久层缓存，针对持久层谈一下：要实现java缓存有很多种方式，最简单的无非就是static HashMap，这个显然是基于内存缓存，一个map就可以搞定引用对象的缓存，最简单也最不实用，首要的问题就是保存对象的有效性以及周期无法控制，这样很容易就导致内存急剧上升，周期无法控制可以采用SoftReference，We...

2010-04-23 17:42:39 138

看透Spring AOP

工作原因需要用到一个代理，首选Spring Aop ，很久没用了，今天翻了下文档看了下源码，发现看文档容易晕，看源码结构清晰明了，Advice,PointCut,Advisor泾渭分明，ProxyFactoryBean总控。Target:主角，目的就是生成target的代理对象。Advice:抛弃概念简单理解就是你要插入target的执行代码。PointCut：就是你要在target文...

2010-04-22 22:07:46 104

(转)使用 PL/SQL 的 DOM API 解析 XML 文档

这个程序示范了使用 PL/SQL 的 DOM API 解析 XML 文档，-- 使用了 SYS.XMLDOM 和 SYS.XMLPARSER包-- 程序解析了输入的 XML 文件，打印文档所有元素和元素的属性connect scott/tiger;set serveroutput on;create or replace procedure domsample(dir ...

2010-04-17 21:49:20 228

<转>plsql解析XML

文件：[code="xml"] Tony Blair 10 Downing Street, London, UK (061) 98765(061) 98768 blair@everywhere.com Bill Clinton Wh...

2010-04-17 21:47:15 186

Guice初探

听说很久了，今天上网查问题时无意点进了它的官网，翻了一下，网上资料不多，深入研究的也不多，估计国内用的人寥寥无几，手动写了个简单示例，说说两点感想：第一点就是感觉侵入性很强，但是得失总是矛盾的，侵入性强了意味着对容器的管理更加自如，注入点完全可以由自己定义，由于国内中spring的毒太深了，这点似乎用不到，注入点一般都挪到启动时，一大优势扼杀掉了。再者就是性能，全注解全动态...

2010-04-15 16:53:00 316

<转>依赖注入&控制反转 oC 容器和Dependency Injection 模式

撰文/Martin Fowler 编译/透明Java 社群近来掀起了一阵轻量级容器的热潮，这些容器能够帮助开发者将来自不同项目的组件组装成为一个内聚的应用程序。在它们的背后有着同一个模式，这个模式决定了这些容器进行组件装配的方式。人们用一个大而化之的名字来称呼这个模式：“控制反转”（Inversion of Control，IoC）。在本文中，我将深入探索这个模式的工作原理，给它一个更能描...

2010-04-13 13:04:37 129

模拟依赖注入

本实验采用全注解模拟，开始讨厌XML配置文件了定义两注解：[code="c++"]@Target(ElementType.TYPE)@Retention(RetentionPolicy.RUNTIME)public @interface Bean { public String Id() default "";} @Target(ElementT...

2010-04-12 22:20:07 135

java动态代理原理及简单模拟

为跳槽做打算，最近在猛学，回顾一下知识点，突然发现动态代理还是理解的模糊，狠狠研究了一天，写此文以作纪念。首先写个普通的代理来个接口：[code="java"]public interface Drawable { public void draw();}[/code]再来个实现类：[code="java"]public class Pen i...

2010-03-11 20:21:07 149

原创 ROLLUP和CUBE语句

Oracle的GROUP BY语句除了最基本的语法外，还支持ROLLUP和CUBE语句。如果是ROLLUP(A, B, C)的话，首先会对(A、B、C)进行GROUP BY，然后对(A、B)进行GROUP BY，然后是(A)进行GROUP BY，最后对全表进行GROUP BY操作。如果是GROUP BY CUBE(A, B, C)，则首先会对(A、B、C)进行GROUP BY，然后依次是(A、B)...

2009-09-16 16:40:53 146

Oracle函数translate()的用法

一、语法： TRANSLATE(string,from_str,to_str) 二、目的返回将（所有出现的）from_str中的每个字符替换为to_str中的相应字符以后的string。TRANSLATE 是 REPLACE 所提供的功能的一个超集。如果 from_str 比 to_str 长，那么在 from_str 中...

2009-03-25 20:27:57 386