- 博客(8)
- 收藏
- 关注
RSS订阅原创 Kettle对非结构化数据进行分类
介绍对一批文件进行分类，按照类别创建目录，并将文件拷贝到相应的目录下。场景分析旧NEUOJ的数据库中存在testcases表，testcase表里存储了输入输出数据的文件名和对应的题目号pid。新NEUOJ的数据库中，problems表字段中包含该题在旧数据库中的题目号old_oj_pid。testdata/目录下的文件是旧OJ中的测试数据。现在需要对这些测试数据文件进行分类，分类依据是对应题目在新OJ中的题目号id，文件拷贝到一个新的目录file/下。假设题目号为1016，对应的输入数据为t
2020-07-13 19:58:04
1740
1
原创 Users.ktr使用文档
Users.ktr使用文档流程原理分析功能介绍适用场景举例流程图示必做选项数据输入选择数据库连接数据筛选及去重选择错误数据文件的路径，或取消该步骤数据输出选择数据库连接选做选项数据输入修改数据库查询SQL语句数据筛选及去重数据筛选数据去重先排序再筛选哈希值关于重定向重复记录数据输出选择字段映射Q&A如何判断在某一步骤中使用的字段名是否正确？流程原理分析使用Kettle进行单表迁移（感觉是这个文档的简略版）功能介绍本流程主要完成数据库中的单表迁移。主要步骤包括：数据输入、数据筛选及去重、数据输
2020-07-13 07:01:01
666
原创 生产实习记录
记录2020.06.271. MySQL主流的存储引擎及区别2. 不同的字符集在速度和字符量方面上的区别3.名词解释：OLAP，OLTP，DDL4. 阿里云的 MySQL-RDS里，单表1s写入数据的上限量2020.06.271. MySQL主流的存储引擎及区别2. 不同的字符集在速度和字符量方面上的区别3.名词解释：OLAP，OLTP，DDL4. 阿里云的 MySQL-RDS里，单表1s写入数据的上限量...
2020-06-29 17:40:15
263
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人