mysql 导入大数据文件

1. 切割文件, 把文件按照每200W行拆分一个文件

split -l2000000 -d all.csv part_ --verbose

2. 逐个文件导入

load data infile '/var/lib/mysql-files/mg/part_00' ignore into TABLE yourTable fields TERMINATED by ',' ENCLOSED BY '"';

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
大数据MySQL文件测试用例是一种测试方法,用于验证大数据MySQL文件在不同情况下的功能和性能。以下是一些可能的测试用例: 1. 文件导入测试:验证MySQL是否能够正确导入大数据文件,包括CSV、Excel等格式。测试数据可以包含不同字段和记录数量,以确保文件导入功能的稳定性和准确性。 2. 数据库连接测试:测试数据库连接的性能和稳定性,特别是在大数据文件导入期间。通过模拟多个并发用户进行数据库连接,验证MySQL是否能够处理大量的连接请求,并保持稳定的性能。 3. 数据查询测试:测试MySQL大数据文件中进行查询的性能。包括简单查询、多表连接查询、复杂查询等情况,以确保MySQL能够高效地处理大数据文件中的查询请求。 4. 数据插入测试:测试MySQL大数据文件中插入数据的性能。通过模拟大量的数据插入请求,验证MySQL是否能够高效地处理大数据文件中的数据插入操作,并保持数据一致性和完整性。 5. 数据更新测试:测试MySQL大数据文件中更新数据的性能。通过模拟大量的数据更新请求,验证MySQL是否能够高效地处理大数据文件中的数据更新操作,并保持数据一致性和完整性。 6. 数据删除测试:测试MySQL大数据文件中删除数据的性能。通过模拟大量的数据删除请求,验证MySQL是否能够高效地处理大数据文件中的数据删除操作,并保持数据一致性和完整性。 7. 性能测试:测试MySQL大数据文件中的性能表现,包括响应时间、吞吐量、并发处理能力等。通过模拟大量的并发用户进行性能测试,验证MySQL是否能够稳定地处理大数据文件的操作,并满足性能需求。 总之,大数据MySQL文件测试用例涵盖了文件导入、数据库连接、数据查询、数据插入、数据更新、数据删除以及性能等方面的测试,旨在验证MySQL在处理大数据文件时的功能和性能。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值