gangma2

一、模拟抽取环境准备：1、两张要抽取的图片2、一个Excel表格，表格中是照片的序号和照片的存放路径（用txt也可以，主要作用是kettle能读取到图片的路径）3、创建图片存放的表，创建语句如下SQL。create table T_ZP( xh NUMBER,--序号 path VARCHAR2(2000),--图片存放路径 photo BLOB,--图片 rksj VARCHAR2(20)--入库时间)二、抽取模型1、打开kettle创建一个转换，依次调用

KETTLE简介Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行， 数据抽取高效稳定。Kettle 是”Kettle E.T.T.L. Envirnonment”只取首字母的缩写，Kettle 是”Kettle E.T.T.L. Envirnonment”只取首字母的缩写，Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。Kettle这个ETL工具集，它允许管理来自不同数据库的数据，通过图形化

oracle 10g及以前版本存储照片使用long raw类型，10G后版本使用blob存储照片，下面介绍两种方法将long raw类型转换为blob：1、复制一张新表把LONG RAW类型的字段转为BLOB类型的字段；CREATE TABLE T_TARGET ASSELECT ID,TITLE,TO_LOB(CONTENT) AS CONTENTFROM T_SOURCE;2、通过kettle抽取方法转换转换代码：import java.io.*;String zpStreamF

Windows环境调度Kettle并记录日志1、创建一个bat文件，并编辑文件E:cd E:\kettle\data-integrationkitchen.bat -rep ktzyk -user admin -pass admin -dir / -job kettle_job -level=basic>>F:\数据调度\kettle_job.logrem 参数说明rem -rep 资源库名称rem -user 用户名rem -pass 密码rem -dir 调度job的

Kettle内存OutOfMemory错误解决办法1、内存限制参数控制Kettle使用服务器内存参数有3个，分别为：-Xms、-Xmx、-XX:MaxPermSize，三个参数含义如下：-Xms：设置JVM初始内存-Xmx：设置JVM最大可用内存-XX:MaxPermSize：设置JVM最大允许分配内存，按需分配理论上参数值越大，kettle处理数据的效率越高说明：-Xmx必须小于等于系统内存的1/4，其他两个选项不大于-Xmx。2、OutOfMemory解决方法进入安装目录，我的是D:\

KETTLE根据自增ID循环抽取模型一、应用场景二、kettle模型1、总体流程2、转换配置2.1涉及表结构2.2获取表中最小值2.3获取表中最大值2.4循环条件检验2.5临时表抽取2.6目标表抽取2.7添加递增一、应用场景在工作中，将源库数据量较大表中的数据抽取到目标库中，由于目标服务器性能配置较低，每次抽取数据量达到一定数量后抽取速度降低至每秒几十条，抽取表中存在自增主键（模型中数据库为oracle，主键ID为自增number为示例），可以采用该模型抽取。二、kettle模型1、总体流程根据