工作心得
文章平均质量分 77
逸笔草草
这个作者很懒,什么都没留下…
展开
-
ETL工具Kettle的基本使用
0.ETL简介ETL,是英文 Extract-Transform-Load 的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。ETL包含了三方面: 抽取:将数据从各种原始的业务系统中读取出来,这是所有工作的前提。 转换:按照预先设计好的规则将抽取得数据进行转换,使本来异构的数据格式能统一起来。 装载:将转换完的数据按计划增量或原创 2016-10-08 18:07:25 · 13287 阅读 · 0 评论 -
kettle Variables+Arguments+Parameters简介
1. Kettle变量——Variables1.1. VariablesPDI变量可以被用在作业和转换步骤中,可以使用如下几种方法定义变量:编辑kettle.properties文件在edit按钮中选择Set Environment Variables对话框在转换中使用set variable步骤1.2. Variable Scope有两种类型的变量:Environment Variable原创 2016-10-10 17:25:50 · 1679 阅读 · 0 评论 -
CentOS6.5升级git版本
1.执行如下命令查看git版本:git --version结果如下:git version 1.7.1从git的官方网站上可以看到,目前git的最新版本已经到了2.11,我们机器上的git版本太低2.配置163网络yum源参考下面的文章进行配置即可: CentOS配置163yum源3.下载配置Git新版本yum源脚本vim git_repo_install.sh#!/bin/bashel5_dow原创 2016-12-05 14:35:32 · 493 阅读 · 0 评论 -
CentOS6.5配置网络yum源
我们选择配置国内163提供的yum源,具体操作步骤如下: 1.登录如下地址: mirrors.163.com 2.选择最后一列中的“centos使用帮助” 进入如下链接的界面: CentOS镜像使用帮助 3.按照帮助文档中的说明操作即可 3.1备份/etc/yum.repos.d/CentOS-Base.repomv /etc/yum.repos.d/CentOS-Base.repo原创 2016-12-05 14:16:41 · 5293 阅读 · 0 评论 -
Kettle table input使用变量替换in中的条件
1. 问题描述今天在使用kettle从数据库表中导出数据到文本文件时,用到了in查询,原始的sql是下面这样的:select to_char(current_timestamp, 'YYYY-MM-DD HH24:MI:SS') as checkin_time, '${personType}' as bd_type, 'AA.AA.AA.AA' as checkin_window_ip from原创 2017-07-13 17:33:12 · 6706 阅读 · 1 评论 -
使用sed将结构化数据拼接成sql
sed原创 2017-09-22 12:19:45 · 949 阅读 · 0 评论