2013年10月_李楚男

转载 FastDFS安装使用实战一（安装篇）

最近在研究负载均衡和集群，其中涉及到一个主要的问题是，如何让集群中的real server共享一套文件系统。在网上查到FastDFS，国人（happy fish，感谢他的开源精神）开发的一套轻量级分布式文件系统。实际搭建了一下，感觉还不错，小巧易用，支持http下载。虽然FastDFS官方网站上已经有比较详细的安装使用手册，但在实际搭建过程中，还是遇到了很多问题，希望我的记录可以让

2013-10-29 17:47:23 894 1

转载 ubuntu下gedit不能用解决方法

su root 后出现不能用gedit命令。如图：jerry@jerry:~$ su root密码：root@jerry:/home/jerry# lsDesktop linux-2.6.35.9 study 视频下载examples.desktop linux-2.6.35.9.tar.bz2 公共的图片音乐hello.c opt 模板文档桌面root@jerry:/h

2013-10-29 17:41:06 8506

转载 linux下解压命令大全

.tar 解包：tar xvf FileName.tar打包：tar cvf FileName.tar DirName（注：tar是打包，不是压缩！）———————————————.gz解压1：gunzip FileName.gz解压2：gzip -d FileName.gz压缩：gzip FileName.tar.gz 和 .tgz解压：tar zxvf

2013-10-29 15:53:17 477

原创 ubuntu笔记（一）

以sudo passwd root,给root设置密码,然后su - root登陆到root,不过还是建议用sudo来做,轻易不要用root！

2013-10-23 12:20:26 463

转载 FastDFS的配置、部署与API使用解读（1）Get Started with FastDFS

1、背景FastDFS是一款开源的、分布式文件系统（Distributed File System），由淘宝开发平台部资深架构师余庆开发。该开源项目的主页是http://code.google.com/p/fastdfs 。可以通过fastdfs.sourceforge.net 下载。FastDFS论坛是 http://www.csource.org ，目前是指向 ChinaUnix 开源项目

2013-10-22 15:11:55 574

公司项目以前对文件大批量操作不是采用Spring Batch，而现在随着文件数的增多，原有文件批量处理的架构效率太低了，所以可能要用到Spring Batch来对文件来处理。现在的文件格式是首行代表的是批次信息，其余的行数代表的是订单信息。如果要用Spring Batch来处理的话，这种文件属于无格式文件中的多行文件。但是Spring Batch对这种文件的处理是要要在每一行的行首要有个标志才能挣

2013-10-22 13:58:35 1948

原创 fastdfs介绍

上周礼拜五老大叫我研究下fastdfs方面的东西，自己就打算把这个礼拜的时间都用来看看这方面的东西，感觉这个东西还是蛮好玩的，是不是啊，哎，不多说了，开始看看fastdfs

2013-10-21 10:31:05 718

原创 Spring Batch之skip讲解

前面的文章跟大家一起讨论了Spring Batch的概念，处理流程，以及Spring Batch处理文件、DB的一些简单实例。接下来的讨论，主要是关于Spring Batch的一些高级应用处理和实际开发中需要注意的一些问题。一、skip的介绍在实际的项目开发中，我们经常要将几十万甚至上百万的数据从文件导入到DB中，如果其中某条数据导入时发生例外，我们并不想整个Job以失败而结束，而是希望能

2013-10-17 17:07:58 2080

原创 Spring Batch之Sample（游标方式读写DB数据表）（二）

上篇文章中我们已经实现了用游标方式读写DB数据表，上篇的itemReader中sql语句并没有条件的限制，只是将表中的所有的数据都查询出来，然后再保存，本篇文章我们主要介绍怎样通过给定字段的值查出相应的结果集。项目结构如下：与上篇文章不同的主要是batch.xml配置文件，其余的都一样，该配置文件的内容主要如下：<bean:beans xmlns="http://www.sp

2013-10-17 16:01:18 1022

原创 Spring Batch之Sample（游标方式读写DB数据表）

前面关于Spring Batch的文章，讲述了SpringBatch对Flat、XML等文件的读写操作。本文将和大家一起讨论Spring Batch对DB的读写操作。Spring Batch对DB数据的读取操作提供两种形式，一种以游标为基础，一条条的读取数据；另外一种是分页的方式读取DB。工程结构图如下：1、pom.xml文件的内容主要如下：<project xmlns="ht

2013-10-17 11:08:51 1306

原创 oracle序列

Oracle在创建序列(sequence)时有个参数你可以选择cache或者nocache，下面来讲一下两者的区别：先来看下创建sequence的语句：create sequence SEQ_IDminvalue 1maxvalue 99999999start with 1increment by 1cache n/nocache --其中n代表一个整数，默认值为20

2013-10-17 10:04:53 564

原创 Spring Batch之复合格式文件的读写

本文主要探讨Spring Batch读取复合格式的数据，然后写入不同的文件的处理方式。工程结构如下图：applicationContext.xml文件已经在前面的文章中叙述过。本实例的核心配置文件batch.xml内容如下：<bean:beans xmlns="http://www.springframework.org/schema/batch" xmlns:bean

2013-10-15 11:19:26 1620

原创 SpringBatch之固定长格式文件读写

本文主要通过一个完整的实例，运用Spring Batch对固定长格式文件的读写操作。实例延续前面的例子，读取一个含有四个字段(ID,NAME,AGE,SCORE)，对读取的字段做简单的处理，然后输出到两外一个TXT文件中。工程结构如下图：applicationContext.xml前文已经叙述过，在此不做阐述。本文核心配置文件batch.xml的内容如下：<bean:be

2013-10-14 14:36:52 2453

原创 Spring Batch之XML文件操作

本文主要运用Spring Batch对XML文件的读写操作。实例流程是从一个XML文件中读取商品信息，经过简单的处理，写入另外一个XML文件中。工程结构如下图：pom.xml文件内容如下：<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-i

2013-10-12 16:32:44 1436

原创 Spring Batch之FlatFile操作

本文通过一个完整的实例，运用Spring Batch对FlatFile进行读写操作。此实例的流程是：读取一个含有4个字段的FlatFile（ID，Name，Age，Score），对读取的字段做简单的处理，然后输出到另外一个FlatFile中。工程结构如下图：JobLaunch类用来启动Job，CSVItemProcessor类用来对Reader取得的数据进行处理，Student类是一个

2013-10-11 18:13:06 3414

原创 Spring Batch之Hello World

通过前面两篇关于Spring Batch文章的介绍，我们已经对Spring Batch有个初步的概念。本篇文章我们将通过一个“Hello World!”实例，从开发的角度对Spring Batch有一个真切的体会。说明：1、本实例使用的是spring-batch 2.2.2；2、本实例没有像前面讲的那样配置ItemReader、ItemProcessor和ItemWriter，而是之间

2013-10-11 14:09:44 684

原创 Spring Batch框架流程简单介绍

Spring Batch流程介绍：上图描绘了Spring Batch的执行过程，说明如下：每个Batch都会包含一个Job。Job就像一个容器，这个容器里装了若干Step，Batch中实际干活的就是这些Step，至于Step干什么活，无外乎读取数据，处理数据，然后将这些数据存储起来（ItemReader用来读取数据，ItemProcessor用来处理数据，ItemWriter用来写

2013-10-10 16:35:27 905

原创 Spring Batch Introduction

Spring Batch是一个轻量级的，完全面向Spring的批处理框架，可以应用于企业级大量的数据处理系统。Spring Batch以POJO和大家熟知的Spring框架为基础，使开发者更容易的访问和利用企业级服务。Spring Batch可以提供大量，可重复的数据处理功能，包括日志记录/跟踪，事物管理，作业处理统计工作重新启动、跳过，和资源管理等重要功能。业务方案：1、批处理定期提交；

2013-10-10 16:09:42 762

XuanYuZuo的专栏