放在这个专题下,是因为有时候我们数据分析师的确是懂得一点数据库的操作知识或者会一些SQL,平时我用的比较多的就是MySQL,如果说我们一般就是要学一些SQL操作的话,可能就足以应付平时的工作,至于对象,比如Oracle,DB2等等数据库产品,这种SQL尽管差异有很多,不过总体上可以一条路走下来。不过今天说的几个问题是和MySQL产品本身有关系的,因为我们一些数据处理和分析是需要它来帮忙的。
和MySQL打交道,基本我们都是在解决与数据库连接的问题比较挠头,下面简单说说怎么通过MySQL与Excel、SPSS、Clementine、R连接,并完成一些查询,限于篇幅分期描述一下。
MySQL连接Excel
MySQL与Excel连接有时候其实很有作用,原因在于我们有时候在Navicat这样的软件中查询的结果,必须要保存查询,然后选择输出格式(这里是Excel的格式),这种方式其实效率很低,主要是时间上我们受不了。所以我们通过建立Excel与MySQL的连接,直接就可以把数据导入到Excel中,这样处理起来速度就会快一些。
操作:
Excel与MySQL连接是使用数据源的,即通过ODBC的方式提供连接,因此事先你要下载MySQL connector/ODBC(http://dev.mysql.com/downloads/connector/odbc/5.1.html)。随后进入管理工具(控制面板|管理工具|数据源ODBC)如下图所示
随后,你可以添加数据源(用户DSN),选择MySQL ODBC 5.1 Driver,如下图
点击完成,此时就会弹出来connector的面板,在这里完成相关信息的填写,如下图
Data Source Name:数据源的名字,最后会显示在用户DSN面板,并且我们在连接时也是依靠这个名字作为连接的标示符;
TCP/IP Server:连接的数据库IP地址以及端口,默认是3306;
User:数据库账户名;
Passwor:账户密码;
Database:在此IP的DBMS中的数据库名称,一般输入用户名和密码后,数据库就会显示出来,我们从中选择一个我们需要的数据库就行了。
随后点击确定,回到数据源窗口,此时多了一个数据源,记住数据源的名字就可以了,下面来说怎么连接,在Excel中选择数据|连接
在打开的对话框中,点击添加,会弹出来现有的连接,之后我们选择左下角的浏览更多,建立一个数据源,此时弹出来一个对话框,如下:
选择连接到新数据源.odc,选择打开按钮,弹出如下的对话框:
在这里我们选择ODBC DSN,单击下一步,找到我们的数据源,名叫testODBC
单击下一步,在新的对话框中,我们能看到我们要连接的数据库,及数据库中的具体数据表,如下图
确定一个表之后,单击完成,就基本上是完成了Excel与MySQL某个数据库的某个表的连接工作,下面我们查看属性能够看到如下的信息:
使用状况,比如刷新频率之类的,这里我们主要关注定义标签下的信息,命令文本的地方就是我们编写SQL的位置,这一点其实比较有用,比如我们数据库存储的时间都是unixtime形式,这里输出时,我们就可以考虑转换unixtime,然后在进行输出,效果就会更好。但是到此我们的数据并没有输出,我们只是完成了配置工作,点击数据|现有连接,对话框如下:
选择我们连接的表的名字,确定后弹出如下的对话框,询问导出数据的导出位置以及形式,如下图:
随后Excel显示,正在获取数据
几秒后,就会把原始的数据库数据通过我们的Sql操作形式直接输出到Excel中,如下
这样数据库数据就很快的导出了,时间上节省了不少,与此同时为了进一步优化操作,Excel插件 SQLDrill也出现了,该工具强化了这个SQL操作的能力,使得我们用Excel操作数据库数据更加容易了
在一台电脑上创建两个MySQL服务
其实我所说的这种情况比较少见,但是有时候确实也是用的,比如在localhost下安装了两个版本的mysql,这时候往往就会出现问题,比如两个版本mysql服务无法启动,或者其中一个版本的服务无法启动,而我们希望两个版本的mysql服务都能够启动,这里就说一下怎么样在一台电脑上启动两个mysql。
首先安装一个版本的mysql,启动服务,测试是否能够正常使用,此时确定端口为3306。
随后开始安装另一个版本的mysql,安装完毕后,必然启动不了,此时估计都会想到去更改my.ini的配置文件中的port,但是之后仍旧无法启动,这种情况下,我们可以这样来操作:
打开CMd,进入mysql\bin文件中,如下图
随后,我们创建服务 命令如下:
mysqld install mysql2
随后显示mysql2服务创建成功,此时我们可以去查询一下这个服务
但是,如你此时去启动该服务,还是启动不了,因为此时用到的my.ini还是最开始那个mysql.ini。因此我们这里要指定后来这个服务所要用到的my.ini文件,操作如下:
运行窗口,输入regedit,进入注册表
在注册表中,寻找 service中的mysql2的信息
找到后,注意mysql2其中一个赋值信息,在其中加入一段 --default-file="dir of your second my.ini",即把第二个mysql的myini地址导入:
与此同时我们再来看一下我们安装的第一个mysql的注册表服务信息
到此,其实我们的工作还没完成,因为此时这两个服务还公用一个3306的默认端口,此时还要在第二个my.ini文件中把port端口改一下,非3306的就可以。随后我们启动服务:
可以看到服务启动成功,我们查询一下目前的端口使用情况(我使用的是3310)
通过查询能够看到两个服务都启动了:
Note:如果以上操作之后还是不能启动,原因就只有两点了:
删除data文件中的log信息;
my.ini配置出现错误。
今天就先说这两个和mysql有关的问题,明天说说怎么在R中连接数据,并进行灵活的查询方法。