项目收获
文章平均质量分 82
谁一颦一笑摇曳了星云
这个作者很懒,什么都没留下…
展开
-
jdbc批处理大数据
在捕获保存那里,遇到一个问题,对于百万数据,就是效率问题,保存太慢,客户受不了,所以必须提高效率,下面就是提高效率的方法 l业务场景:当需要向数据库发送一批SQL语句执行时,应避免向数据库一条条的发送执行,而应采用JDBC的批处理机制,以提升执行效率。 l实现批处理有两种方式,第一种方式: •Statement.addBatch(sql) l执行批处理SQL语句 •executeBa原创 2013-10-12 10:10:40 · 1046 阅读 · 0 评论 -
ETL高级教程
ETL高级教程 1,Kettle跨平台使用。 例如:在AIX下(AIX是IBM商用UNIX操作系统,此处在LINUX/UNIX同样适用),运行Kettle的相关步骤如下: 1)进入到Kettle部署的路径 2)执行 chmod *.sh,将所有shell文件添加可执行权限 3)在Kettle路径下,如果要执行transformation,就运行./pan.sh -file=?.ktr转载 2013-10-23 09:36:37 · 1018 阅读 · 1 评论