- 博客(6)
- 收藏
- 关注
RSS订阅原创 flink tableapi 启动报错
下载的flink 1.13.1版本，scala 2.11版本按照官网，https://ci.apache.org/projects/flink/flink-docs-release-1.13/docs/try-flink/table_api/下载https://github.com/apache/flink-playgrounds 这个代码但前面有可能pom中的弄的少，或者忘了maven update reimport等，这个是需要注意的。然后如果还不行，可能就是scala...
2021-11-23 18:05:29
1164
转载 kettle优化
https://www.cnblogs.com/zjfjava/p/12907922.htmlKettle中的ETL优化结合自己工作中的使用和收集的一些经验，谈谈对Kettle中的ETL的一些优化。数据库方面1.1 配置连接池如果业务数据量很多和短连接很多，可以考虑使用数据库连接池，在这个时候，每次数据库连接建立和断开所花费的时间远长于进行数据库操作的时间，配置连接池可以更好的利用网络资源，将连接建立和断开的开销降低到最小。因此在大多数情况下，配置Kettle数据库连接池均可提高ETL的性能，
2020-11-03 10:50:34
1102
转载 flume
flume一、event 事件 flume的核心是把数据从数据源(source)收集过来，在将收集到的数据送到指定的目的地(sink)。为了保证输送的过程一定成功，在送到目的地(sink)之前，会先缓存数据(channel),待数据真正到达目的地(sink)后，flume在删除自己缓存的数据。在整个数据的传输的过程中，流动的是event，即事务保证是在event级别进行的。那么什么是eve...
2019-10-14 16:51:38
363
转载 sql插入数据时自动插入时间
1:第一种方式：sql数据库在插入一条数据时自动插入时间通常的方式是在插入的sql语句中使用数据库的时间函数进行处理。sqlserver的时间函数getdate()函数就带代表当前的时间(只数据库服务器的当前时间)。参考代码：insert into table(v1,v2) values('111',getdate());2:第二种方式：采用字段默认值的方式即再数据库设计的时候，指定字段...
2019-02-26 23:13:45
18842
转载 大数据测试之数据构造工具
在性能测试中，我们经常会涉及到测试数据，对于测试数据我们可以为两种：一种是执行测试用例中使用的测试数据；另一种是在大数据量下测试时需要的测试基础数据。两者的主要区别是在于是否会在测试中直接用于测试执行。测试基础数据可以转化为测试数据。在这里主要说明测试基础数据。一个系统经常会规划多年的业务规模，并对其性能提出要求。在测试设计时就需要测试在系统运行了多年时的性能，此时数据库中会有大量的历史数据，...
2019-02-26 22:57:00
2321
转载 sqoop
1、Sqoop是什么Sqoop:SQL-to-Hadoop传统数据库与Hadoop间数据同步工具利用Mapreduce分布式批处理，加快了数据传输速度，保证了容错性2、Sqoop1架构sqoop1 import原理：从传统数据库获取元数据信息(schema、table、field、field type)，把导入功能转换为只有Map的Mapreduce作业，在mapreduce中...
2019-02-26 22:54:40
123
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人