mysql文档批处理去重_数据导入经验总结

一、导入mysql数据前期设置

1.建库和表统一编码设置为UTF8，根据数据中的编码来修改(也可以将数据全部转换为utf-8格式，小文件可用notepad来修改编码，大文件可用 LogViewPro 来修改编码)

2.对MySql数据库进行优化配置

my.ini优化配置：

[mysql]default-character-set=utf8

[mysqld]

port=3306basedir=F:/phpstudy_pro/Extensions/MySQL5.7.26/datadir=F:/phpstudy_pro/Extensions/MySQL5.7.26/data/character-set-server=utf8 #默认的数据库编码default-storage-engine=MyIsam #数据库引擎，myisam适合于查询

max_connections=1000#客户端和服务器最大连接数，默认为1000

collation-server=utf8_unicode_ci

init_connect='SET NAMES utf8'innodb_buffer_pool_size=4096M #一般设置 buffer pool 大小为总内存的 3/4 至 4/5innodb_flush_log_at_trx_commit=2#当设置为2，该模式速度较快，也比0安全，只有在操作系统崩溃或者系统断电的情况下，上一秒钟所有事务数据才可能丢失。

innodb_lock_wait_timeout=120#默认参数:innodb_lock_wait_timeout设置锁等待的时间是120s，一旦数据库锁超过这个时间就会报错。

innodb_log_buffer_size=16M #建议取值16M-64MB，自己内存为8G

innodb_log_file_size=256M #一般取256M可以兼顾性能和recovery的速度，不可取大也不可取小

interactive_timeout=120#服务器关闭交互式连接前等待活动的秒数

join_buffer_size=16M #联合查询操作所能使用的缓冲区大小，如果有100个线程连接，则占用为16M*100key_buffer_size=512M #索引缓冲区，一般情况下对于内存在 4GB 左右的服务器该参数可设置为256M 或384M

log_error_verbosity=2#错误日志记录内容

max_allowed_packet=128M #限制Server接受的数据包大小，默认是128M

max_heap_table_size=64M #设置默认值

myisam_max_sort_file_size=64G ## mysql重建索引时允许使用的临时文件最大大小，默认值即可

myisam_sort_buffer_size=150M #MyISAM表发生变化时重新排序所需的缓冲

read_buffer_size=512kb #缓存连续扫描的块，这个缓存是跨存储引擎的，不只是MyISAM表，8G内存，建议是512KB

read_rnd_buffer_size=4M #MySql的随机读缓冲区大小建议末日使者

server_id=1skip-external-locking=on #跳过外部锁定

sort_buffer_size=256kb #排序缓冲

table_open_cache=3000thread_cache_size=16tmp_table_size=64M

wait_timeout=120secure-file-priv=''#可在任意目录下导入

log-error="F:/phpstudy_pro/Extensions/MySQL5.7.26/data"[client]

port=3306

default-character-set=utf8

二、各种数据导入mysql方法

导入的数据类型有：.sql数据，txt文本数据，cvs(xls)数据,以及access和mssql数据格式的数据

1.txt文本格式数据导入

(1).