python数据分析与挖掘学习笔记（2）-淘宝商品数据清洗及预处理

这一节开始就正式开始啦～～

这一部分主要是针对淘宝的部分商品数据（小零食）进行预处理。

1. 读取商品源数据

这里拿到的数据是sql数据，因此需要使用mysql。首先我们安装好mysql，可以直接通过指令安装：

> sudo apt-get install mysql-server

> apt-get install mysql-client

> sudo apt-get install libmysqlclient-dev

安装过程中别忘记自己设置的密码，最后连接数据库需要该密码。 安装完成后可以通过下面的指令检查是否安装成功：

> sudo netstat -tap | grep mysql

安装好之后，我们现在就需要建立数据库将我们的数据文件导入。

> mysql -u root -p

登录自己的root账户，-p表示需要输入用户密码，按照提示输入密码，登录到mysql。

登录好之后，

mysql> show databases;

创建自己的数据库：

mysql> create database XX;

这里的XX代表你的数据库名，我这里使用的是创建的数据库叫CSDN。

mysql> use CSDN;

这里的use表示切换数据库；现在切换到CSDN数据库上来。

mysql> show tables;

显示所有的表；

这里未创建之前应该是为空，这里我们将taobao.sql文件导入该数据库中，

mysql> source /home/hadoop/taobao.sql

使用source+path的指令将本地的数据导入到数据库中，这时再使用show tables应该就可以看到数据表了。

好，数据导入到数据库之后，现在我们需要用python来处理该数据，就需要用到python与mysql之间的交互。由于Mysqldb模块还不支持python3，因此使用python3想要连接mysql，需要安装pymysql模块。上一节提到过，可以直接使用pip安装，也可以直接在pycharm中安装第三方模块。