matplotlib mysql_python科学计算之numpy+pandas+matplotlib+mysql

简介

本文主要介绍了读取mysql中的数据，将其保存至numpy和pandas中，通过matplotlib进行可视化数据分析。

一、环境搭建

使用anaconda搭建科学计算环境，并安装相关软件包。

conda create -n science python=2 numpy pandas matplotlib

source activate science

pip install mysql-python

二、生成2014每月数据柱状图

mysql> select Y,M,Sale from Yield where proptype=11 and tjtype=1 and datatype=1 and Y=2014;

+------+----+----------------+

| Y | M | Sale |

+------+----+----------------+

| 2014 | 1 | 37203.854772 |

| 2014 | 2 | 38865.132825 |

| 2014 | 3 | 40261.427668 |

| 2014 | 4 | 38536.986551 |

| 2014 | 5 | 38573.389336 |

| 2014 | 6 | 37604.819697 |

| 2014 | 7 | 37270.686865 |

| 2014 | 8 | 35562.201465 |

| 2014 | 9 | 36258.556955 |

| 2014 | 10 | 36421.066626 |

| 2014 | 11 | 36796.768594 |

| 2014 | 12 | 25064.590895 |

+------+----+----------------+

#!/usr/local/miniconda2/envs/science/bin/python

#-*- coding: utf-8 -*-

import MySQLdb

import numpy as np

import matplotlib.pyplot as plt

db=MySQLdb.connect(host="10.10.89.11",user='test',passwd="test",port=3306,db="dbtest")

cursor=db.cursor()

sql="select Y,M,Sale from Yield where proptype=11 and tjtype=1 and datatype=1 and Y=2014"

cursor.execute(sql)

result=cursor.fetchall()

#定义结构数组的数据类型

qushi=np.dtype([('Y','i2'),('M','i2'),('Sale','f4')])

data=np.fromiter(result,dtype=qushi,count=-1)

#字体设置

plt.rcParams['font.family'] = 'sans-serif'

plt.rcParams['font.sans-serif'] = ['simhei']

plt.rcParams['axes.unicode_minus'] = False

#柱状图

plt.bar(data['M'],data['Sale'],align='center')

plt.title(u'2014趋势')

plt.xlabel(u'月份')

plt.ylabel(u'价格')

plt.xticks(data['M'])

plt.show()

db.close()

要点：

1.由于从mysql读取的数据字段的数据类型不同，因此需要对每个字段重新定义。在此我们先定义了一个qushi的dtype对象，通过其字典参数描述结构类型的各个字段。

2.从mysql读取的数据为元组，需要通过fromiter函数从任何可迭代对象构建一个ndarray对象，返回一个新的一维数组。

3.字体设置

matplotlib默认无法显示中文，按代码中设置若报错”UserWarning: findfont: Font family [u’sans-serif’] not found”

需要将下载的simhei.tty字体放到”/usr/local/miniconda2/envs/science/lib/python2.7/site-packages/matplotlib/mpl-data/fonts/tty”目录下；若有字体但还是显示小方块,一般是没有删除/root/.cache/matplotlib 的缓冲目录

或用如下设置

#中文字体解决

ziti = path.join(mulu, 'simsun.ttc')

font = FontProperties(fname=ziti, size=14)

plt.title(u'2014趋势',fontproperties=font)

plt.xlabel(u'月份',fontproperties=font)

plt.ylabel(u'价格',fontproperties=font)

三.生成2013年和2014年月份对比图

Series和DataFrame都有一个用于生成各类图标的plot方法，默认情况下，他们所生成的是线型图，该Series的索引会被传给matplotlib，并用于绘制x轴。

在生成的线型图的代码中加上kind=’bar’(垂直树状图)或 kind=’barch’(水平柱状图)即可生成柱状图，此时，Series和DataFrame的索引将会被用作X或Y的刻度。

注意：绘制线型图或柱状图需要编排series和dataframe的格式如下：

#合并并重新指定index后的新dataframe，否则index从0开始与月份不对应

#print new11

2013data 2014data

m1

1 32056.771282 37203.854772

2 32987.785092 38865.132825

3 35206.157730 40261.427668

4 35159.787179 38536.986551

5 35138.053408 38573.389336

6 35291.460982 37604.819697

7 36220.846603 37270.686865

8 36734.851022 35562.201465

9 37354.185789 36258.556955

10 37930.002182 36421.066626

11 38259.861458 36796.768594

12 37946.747888 25064.590895

因为对于DataFrame,柱状图会将每一行的值分为一组。但是我们从mysql读取的数据不是这样的，所以我们需要通过dataframe的concat来合并，并修改index才能得到上面的格式。

#!/usr/local/miniconda2/envs/science/bin/python

#-*- coding: utf-8 -*-

import pandas as pd

import matplotlib.pyplot as plt

import MySQLdb

db=MySQLdb.connect(host="10.10.89.11",user='test',passwd="test",port=3306,db="dbtest")

sql2014="select Y,M as 'm1',Sale as '2014data' from Yield where proptype=11 and tjtype=1 and datatype=1 and Y=2014"

sql2013="select Y,M,Sale as '2013data' from Yield where proptype=11 and tjtype=1 and datatype=1 and Y=2013"

#通过read_sql读取数据

df2014=pd.read_sql(sql2014,con=db)

df2013=pd.read_sql(sql2013,con=db)

#横向合并dataframe

new=pd.concat([df2014,df2013],axis=1)

#获取相关列

new_df=new[["m1","2013data","2014data"]]

#将m1列指定为index，否则index默认为0-12

new11=new_df.set_index("m1")

plt.rcParams['font.family'] = 'sans-serif'

plt.rcParams['font.sans-serif'] = ['simhei']

plt.rcParams['axes.unicode_minus'] = False

#线型图

#new11.plot()

#柱状图

new11.plot(kind='bar')

plt.xlabel(u"月份")

plt.ylabel(u"销售数据")

plt.show()

db.close

要点：

1.read_sql的参数index_col制定某列为索引列，通过此设置，我们concat后就不用set_index了。

df2014=pd.read_sql(sql2014,con=db,index_col='M')

df2013=pd.read_sql(sql2013,con=db,index_col='M')

new=pd.concat([df2014,df2013],axis=1)

new_df=new[["2013data","2014data"]]

print new_df

#打印数据

2013data 2014data

M

1 32056.771282 37203.854772

2 32987.785092 38865.132825

3 35206.157730 40261.427668

4 35159.787179 38536.986551

5 35138.053408 38573.389336

6 35291.460982 37604.819697

7 36220.846603 37270.686865

8 36734.851022 35562.201465

9 37354.185789 36258.556955

10 37930.002182 36421.066626

11 38259.861458 36796.768594

12 37946.747888 25064.590895