![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
ETL
朝闻道-夕死可矣
朝闻道,夕死可矣!
展开
-
kettel could not create java virtual machine
windows平台的话增加一个环境变量即可变量:_JAVA_OPTIONS值:-Xmx1024M原创 2016-02-23 20:53:36 · 492 阅读 · 1 评论 -
阿里云开源离线同步工具DataX3.0简单介绍
介绍:DataX 是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能 方法一、直接下载DataX工具包:DataX下载地址 下载后解压至本地某个目录,进入bin目录,即可运行同步作业: $ cd {YOUR_DATAX_HOME}/bin$ pyt...原创 2018-12-08 17:09:50 · 593 阅读 · 0 评论 -
数据同步工具简单介绍
非实时同步工具DataX阿里的Datax是比较优秀的产品,基于python,提供各种数据村塾的读写插件,多线程执行,使用起来也很简单,定义好配置json文件执行脚本就可以了,非常适合离线数据,增量数据可以使用一些编码的方式实现,但是也仅仅针对insert数据比较有效,update数据就不适合github地址:https://github.com/alibaba/DataXSqoo...原创 2018-12-08 17:26:56 · 5413 阅读 · 0 评论 -
java获取webservice入库
项目结构: 依次为:获取webservices返回json的数据类,数据库操作类,读取配置文件类,测试等获取webservices返回json的数据类:package com.wy.HttpRequestUtil;import java.io.ByteArrayOutputStream;import java.io.IOException;import java.io.I...原创 2018-10-21 16:10:40 · 423 阅读 · 0 评论 -
Kettle中调用用户自定义的jar包
在使用kettle过程中,有些功能是kettle不提供的,这样就需要想办法,不过kettle中的java代码可以解决大部分问题,下边就展示使用java代码组件调用自己编写的jar包的过程1,创建java-jar包package test;import java.io.BufferedWriter;import java.io.File;import java.io.FileOutputSt...原创 2018-05-04 15:45:02 · 4158 阅读 · 1 评论 -
kettle ora 01461
原因:导入数据库的字符长度超过数据库所支持的字符串最大长度varchar2(max)解决:1,修改列为CLOB2,查找oracle11g或者12c中的ojdbc6.jar或者更新的jar驱动,放入kettle中,当然要匹配对应的kettle版本然后重新启动kettle执行任务即可...原创 2018-03-28 22:33:41 · 745 阅读 · 0 评论 -
kettle连接oracle12c
jdbc连接cdb数据库时,url兼容以下2种模式: "jdbc:oracle:thin:@127.0.0.1:1521:pdb" "jdbc:oracle:thin:@127.0.0.1:1521/pdb"jdbc连接pdb数据库时url必须使用:" jdbc:oracle:thin:@127.0.0.1:1521/pdb"格式,若使用传统格式" :oracle:thin:@127.0.0....原创 2018-03-31 19:06:16 · 4794 阅读 · 0 评论 -
python中用suds调用webservice
webservice接口测试,需要用到suds库,suds只支持python2,如果是Python3.6版本,需要用到suds-jurko,1) 下载 https://pypi.python.org/pypi/suds/0.42)解压压缩包,放到Python安装路径下的scripts文件夹下面。3)然后在cmd命令行中,进入到suds-jurko-0.4.1.jurko.4文件下面,输入命令:py...原创 2018-03-14 23:00:00 · 4344 阅读 · 0 评论 -
WebServices介绍简单使用
同进程查找JDNI服务比如说我们通过JNDI来查找Tomcat中配置的DataSource,代码如下Context context = new InitialContext();DataSource ds = (DataSource)context.lookup("java:/comp/env/jdbc/oracleds");将这两行代码放到JSP页面中,在new InitialContext()...转载 2018-03-30 22:01:47 · 441 阅读 · 0 评论 -
xml和json格式文件简单对比
定义:XML 指可扩展标记语言(eXtensible Markup Language)。被设计用来传输和存储数据XPath 是一门在 XML文档中查找信息的语言。XPath可用来在 XML 文档中对元素和属性进行遍历。它是 W3C XSLT 标准的主要元素,并且 XQuery 和 XPointer 都构建于 XPath 表达之上。所以,对 XPath 的理解是很多高级 XML 应用的基础。JSON...原创 2018-03-21 10:47:24 · 2371 阅读 · 0 评论 -
应用系统数据对接几种方案
应用系统之间数据传输的几种方式第一种方案:socket方式 Socket方式是最简单的交互方式。是典型才C/S交互模式。一台客户机,一台服务器。服务器提供服务,通过IP地址和端口进行服务访问。而客户机通过连接服务器指定的端口进行消息交互。其中传输协议可以是TCP/UDP 协议。而服务器和约定了请求报文格式和响应报文格式。如图一所示目前我们常用的http调用,java远程调用,webservic...转载 2018-03-12 09:21:59 · 68171 阅读 · 1 评论 -
kettle变量
kettle变量1,kettle变量有两种方式,一种是全局变量,在菜单栏->编辑->设置变量,进行全局变量的设置,二是上一步骤的值作为下一步骤的参数;另外还有kettle系统变量2,使用上,步骤变量需要使用?符号替换--英文下的,如果出现多个,依次替换;如果使用全局变量,使用%%vname%%或者${vname}进行替换原创 2017-05-12 14:40:39 · 906 阅读 · 0 评论 -
kettle全量更新一种方法
如果遇到原库,目标库全量同步,并且存在新增,更新,删除的情况,可以使用以下kettle方法:其中T_S和T_D是源表和目标表,合并到记录,最后执行不同的选择进行相应的操作,需要注意地方1,原表目标表需要根据关键字排序2,合并记录后新增一个标识字段,默认为flagfield,值有四种情况 “identical” 标识没变化 “changed” 有更新 ”deleted“原创 2017-11-01 16:27:44 · 4705 阅读 · 3 评论 -
ERROR [WebjarsURLCotnnection] Error Transforming zip
kettle 6.0.0 GA版本的一个bug原创 2017-07-27 16:02:42 · 751 阅读 · 0 评论 -
kettel 中文插入数据库乱码
插入中文乱码显示????解决方法,在配置数据库连接->配置属性中配置编码为数据库的编码characterEncoding UTF-8原创 2017-08-03 19:19:59 · 738 阅读 · 0 评论 -
kettle A Java Exception has occurred
kettle启动spoon提示 A Java Exception has occurred根本原因kettle对应的jdk版本不正确,window下查看:java -version 查看环境变量:echo %path%看看java环境变量对应的版本,有可能安装了多个版本,另外,启动kettle根目录下的SpoonDebug查看日志也可看到一些有用的信息原创 2017-06-30 08:55:55 · 10817 阅读 · 1 评论 -
kettle odbc缺失解决方式
ojdbc14.jar 在oracle安装目录或者其他java安装目录找到,放到根目录下的lib下边即可原创 2017-03-01 15:43:23 · 4150 阅读 · 0 评论 -
kettel读取webservice
需求: 通过kettle工具,通过webservice获取天气信息,写成xml格式文件思路: Kettle可通过两种选择获取webservice结果,一种是web服务查询(web service lookup),还一种是利用HTTP POST,本文介绍的是使用web服务查询的方式,数据来源为http://www.webxml.com.cn/WebServices/WeatherWebS原创 2016-10-17 14:38:24 · 1049 阅读 · 0 评论 -
kettle脚本中java代码-字符串转换用法
有时候kettle中的组件不能满足需求情况下,可以使用java代码组件实现,以下是实现读取一个文本文件,但是文本文件中的分割符是个数不等的空字符,比如空格,像转为一个空格,再拆分字符串数组。这里只是一个简单用法环境是:kettle7.0具体组件拖拉过程不详述,这里主要介绍重点部分上图:文本文件输入组件中指向的文本文件内容为:gy 0.11 0.21 0.31ny...原创 2019-05-11 16:03:15 · 3934 阅读 · 3 评论