以mysql为例,将本地数据导入mysql中主要有以下步骤(主要针对初次使用,二次及以后有些步骤可跳过)。
首先需要安装mysql(官网下载),然后打开MYSQL Workbench:
1、创建数据库
2、创建表格
对表格进行命名,将编码格式(Charset/Collation)设置为gbk/gbk_bin(Windows常用,苹果常用格式为utf-8),但需要注意的是,这里的编码是指数据库编码,在加载数据时,选择的编码为utf-8,后文会再次提及。
3、对表格的字段进行设置
这里需要提前了解自己手中的数据,如下图中“BlackFriday”表格为黑五打折相关销售信息,共计12个字段。
了解数据后,打开表格设置界面,然后填写红线所示相关信息,主要可分为3部分:
- column name:将列名对应输入column name
2. datatype:该列对应数据的字段类型,最常用的有3类,根据对原始数据每列类型的判断进行归类
-
- 数字:INT(整数),float(浮点数)
- 文本:varchar(45),表示可变长度字符,45为字符数上限,浏览数据时应稍加注意,不确定时尽量设置大些,如100
- 日期:date(日期),datetime(日期和时间),timestamp(时间戳)
3. 一系列英文字符:重点关注NN和UQ即可
-
- NN:NOT NULL,表示值不为空,在不为空的列后打勾
- UQ:UNIQUE,表示主键,其值在对应列中唯一
设置完成后,点击apply,下面对话框会显示执行结果。
4、导入数据
实际情况大部分不是手动添加而是直接导入的,具体操作可分为两种方式:
- 图形界面式:
- 优点:操作简单
- 缺点:遇到大量数据时导入时长较长
- 操作:
- 右键表格,选择载入数据
- 弹出对话框中,选择本地文件位置,点击下一步
- 选择已存在的表格,即之前输入列名等信息的black_friday,点击下一步
- 这一步就是之前提到的数据编码格式了,选择utf-8,下面白框中是数据预览,检查有无问题后,点击下一步,再点击下一步开始执行
- 最终得到表格
2. 敲代码式:
- 优点:导入迅速
- 缺点:初始操作不友好,常遇到各种报错(我会在末尾列出我常遇到的坑)
- 操作:
- 打开MySQL xx Command Line Client(xx为对应版本号),输入密码登录
- 输入: load data local infile '文件路径名' into table maybe.black_friday fields terminated by ',' ignore 1 lines;
- 文件路径名可通过属性查看并将其直接拖拽到代码行中,但斜杠需要反向
- maybe.black_friday表示对应的数据库名称和表名
- fields terminated by ','表示以逗号为分隔符
- ignore 1 lines忽略表头,因为创建表格时已设置表头
- 然后回车,导入完成后会有成功提示,但往往刚开始时,常遇到不同的报错,总结如下:
- 首先确保csv数据编码格式为utf-8,可使用记事本打开后另存为,不要用excel做这一步,因为excel的utf8默认是utf8-boom
- Error 3948(42000):local不能加载问题,去掉local
- Error 1290(HY000):csv地址问题,将csv放入SQL指定安全文件夹,查看安全文件夹代码如下:show variables like '%secure%';
- Error 1292(22007):空值的错,需要修改sql_mode使得空值用NULL替代,代码如下: set @@sql_mode = ANSI;