qq_36551302的博客

调用存储过程也很简单，首先创建一个存储过程，传入一个boo表记录的id，然后设置status为1，然后返回当前记录的名称。调用存储过程设置，返回值哪里要清空，然后参数里把刚才的ID字段拉进来，再加一个返回字段result。

双击Excel输入，重命名控件名称get_data，在文件选项卡浏览选择Excel文件（若不能识别Excel文件，可选择表格类型），单击增加将Excel文件选中。双击表输出控件，“新建”–>选择Oracle，jdbc连接方式，然后填写对应的连接数据库信息，“测试”，成功后会有对应提示。注意：需要将Oracle安装目录下的驱动程序ojdbc14.jar拷贝到Kettle的lib目录下。选择“字段”，“获取来自头部数据的字段”，这里Kettle能自动识别字段类型，若不满意可自行修改。（1）Excel输入控件。

（2）点击获取SQL查询语句按钮，选择对应的表t_bulo_storage_collect_201808。（3）根据实际情况增加where之后的查询条件，然后点击确定，完成此表输入的全部设置。选中DB连接：连接类型选择MySQL，输入主机名称，数据库名称，端口号，用户名，密码。3 按照步骤2的方法，再建立一个表输入，名称为t_bulo_storage_info。输入连接名称，点击确定。2 选择输入》表输入，拖动到主面板中，双击进行设置。选择第一个步骤，第二个步骤，连接类型，和连接字段。（1）输入步骤名称；

id 为2的元组对应的 temp.lastTime 字段 是 从 tt2 表中选出的 updateTime 值为最新的 字段。其中id为1 的元组对应的temp.lastTime 字段 是 从tt1 表中选出的 updateTime 值为最新的，通过检查那个表是最新更新的，那个表就作为新表，而另外的表最为旧表被新表中的数据进行更新。首先创建一个快照表，然后将tt1，tt2表中的最大(最新)时间戳的值插入到快照表中。由于tt1，tt2所在的数据库是不同的，所以分别创建两个数据库的连接。

2、如果采用单次限制数据记录量，由于Kettle本身不支持数据分页，当数据表如果存在大量数据记录的时间戳都相同时，可能会导致部分数据无法同步过来。由于Kettle自身的特殊性以及在多个步骤中kettle自身处理数据库事务的特殊性，尝试了很多种方案，最终确定暂使用如下方案。更多数据实时同步方案，请参考笔者的另一篇博文：大数据时代，数据实时同步解决方案的思考—最全的数据同步总结。3、配置时，每个支队的数据汇聚时，都单独配置一个转换作业任务。4、Kettle支持字段映射，转换，以及作业定时运行等。

在本地运行时会发现标题中提到的问题：工具-资源库里面的按钮都是灰色的，无法点击。

数据库版本不对，例如我用mysql（8.4）数据库只创建成果三十张表，正常应该创建资源库生成46张表。从而也导致了用admin/admin登录失败。改成了mysql 8.0 版本没有这个问题。启动kettle以后，在右上角，没有出现创建资源库的connect字样,如下图所示。2.1找到repositories.xml文件。1） JDK版本不对，JDK需求为1.8版本。2.2 打开后，可以看到出现乱码的资源库描述。2.原因分析：资源库文件出现了乱码造成的。4、创建资源库缺少表原因。2.3 删除掉乱码部分。

2.如果数据库设置正确仍然存在中文乱码，则可能是因为有的客户端数据库默认的编码集不是UTF-8，我们只需要在输出时对输出的数据库进行编码配置。b.打开表输出——>数据库连接后的“编辑”——>Advanced,在下方的空白处输入：set names utf8;，设置数据库客户端的字符集为utf8。1.查看数据库的字符集是否是UTF-8(最常用的字符集)

2.鼠标点中你想进行错误处理的控件，右键选择定义错误处理。1、新建基本转换控件，这里便于方便，就建了2个。

解决中文转码的问题：在"表输入"控件里面输入中文，传输到col1变量里面，出错时，会看到中文需要转码的格式，如下col1=【通知】_hive服务检测异常，这句会被转换成col1=%E3%80%90%E9%80%9A%E7%9F%A5%E3%80%91_hive%E6%9C%8D%E5%8A%A1%E6%A3%80%E6%B5%8B%E5%BC%82%E5%B8%B8；可见http需要接收转码好的URL编码方式，ktr的http控件，就需要改成“http://XXXX?

解决办法：清除kettle的配置文件，包括:Data Integration/.kettle、C:\Users\XXX.kettle等所有配置文件。点击spoon的connect、save、打开资源库等等，出现以下界面空白，已排查IE11的问题。

1.5 开放指定端口(注意执行命令之后reload使其生效才行)1.6 关闭指定端口(注意执行命令reload之后使其生效才行)8080， 3306， 6379表示我开放了这个端口给外部访问。1.3 永久关闭防火墙(重启服务器防火墙不会重新开启)1.2 暂时关闭防火墙(重启服务器防火墙会重新开启)如下所示表示防火墙是运行状态，1.7 查看当前开放的端口。1.1 查看防火墙状态。开放 3306 端口。开放 6379 端口。开放 7000 端口。关闭 3306 端口。关闭 6379 端口。

注意：直接使用yum remove curl卸载，会报错，别的软件依赖，不能卸载，所以必须强制卸载rpm -e --nodeps。可以在这个网站上找最新的版本 http://curl.haxx.se/download/，我们下载最新版本7.87.0。由于低版本的curl存在一定的漏洞，会对我们的服务器安全造成问题，所以，我们需要将curl由低版本安装到高版本。1、首先检测服务器安装的curl版本。2、查看服务器安装的curl的安装包。3、卸载旧版本curl。11、查看curl版本。注意：这一步如果报错。

Docker使用Linux桥接（参考《Linux虚拟网络技术》），在宿主机虚拟一个Docker容器网桥(docker0)，Docker启动一个容器时会根据Docker网桥的网段分配给容器一个IP地址，称为Container-IP，同时Docker网桥是每个容器的默认网关。使用host模式的容器可以直接使用宿主机的IP地址与外界通信，容器内部的服务端口也可以使用宿主机的端口，不需要进行NAT，host最大的优势就是网络性能比较好，但是docker host上已经使用的端口就不能再用了，网络的隔离性不好。

下载 perl-5.20.2.tar.gz。创建perl安装目录。

在 node_global 目录中，您可以找到全局安装的 Node.js 模块的文件和元数据，例如包的源代码、可执行文件、依赖项和描述文件等。请注意，node_global 目录和 node_cache 目录是不同的目录，如果您更改了其中任何一个目录的位置，那么全局安装的 Node.js 模块和缓存文件将被保存到新的路径中。3.使用淘宝源全局安装 cnpm。node_global 目录存储全局安装的 Node.js 模块，而 node_cache 目录存储 Node.js 模块的缓存文件。

前言本文介绍了使用Kettle对一张业务表数据（500万条数据以上）进行实时（10秒）同步，采用了时间戳增量回滚同步的方法。关于ETL和Kettle的入门知识大家可以阅读相关的blog和文档学习。时间戳增量回滚同步假定在源数据表中有一个字段会记录数据的新增或修改时间，可以通过它对数据在时间维度上进行排序。通过中间表记录每次更新的时间戳，在下一个同步周期时，通过这个时间戳同步该时间戳以...