python数据笔记分析_Python数据分析笔记-08

1.I/O API工具

2.读取csv或文本文件中的数据

1)创建一个.csv文件

White,red,blue,green,animal

1,5,2,3,cat

2,7,8,5,dog

3,3,6,7,horse

2,2,8,3,duck

4,4,2,1,mouse

2)用read_csv()函数读取他的内容，同时将其转化为DataFrame对象

>>> csvframe=pd.read_csv('/Users/caojin/Desktop/myCSV_01.csv')

>>> csvframe

White red blue green animal

0   1  5   2   3  cat

1   2  7   8   5  dog

2   3  3   6   7 horse

3   2  2   8   3  duck

4   4  4   2   1 mouse

3)既然csv也是文本文件，还可以使用read_table()函数但是得指定分隔符

>>> csvframe=pd.read_table('/Users/caojin/Desktop/myCSV_01.csv',sep=',')

>>> csvframe

White red blue green animal

0   1  5   2   3  cat

1   2  7   8   5  dog

2   3  3   6   7 horse

3   2  2   8   3  duck

4   4  4   2   1 mouse

4)上面例子，标识各列的表头位于csv文件的第一行，但一般情况并非如此，可能第一行就是列表数据如下：

5)没有表头的数据使用read_csv()函数时候，使用header选项，将其设置为None，pandas会自动为其添加默认表头

未使用header

>>> csvframe=pd.read_csv('/Users/caojin/Desktop/myCSV_02.csv')

>>> csvframe

1 5 2 3  cat

0 2 7 8 5  dog

1 3 3 6 7 horse

2 2 2 8 3  duck

3 4 4 2 1 mouse

使用header

>>> csvframe=pd.read_csv('/Users/caojin/Desktop/myCSV_02.csv',header=None)

>>> csvframe

0 1 2 3   4

0 1 5 2 3  cat

1 2 7 8 5  dog

2 3 3 6 7 horse

3 2 2 8 3  duck

4 4 4 2 1 mouse

6)或者可以使用read_csv()函数的时候，使用names指定表头，直接把存有各列名称的数组赋给它即可

>>> csvframe=pd.read_csv('/Users/caojin/Desktop/myCSV_02.csv',names=['a','b','v','d','w'])

>>> csvframe

a b v d   w

0 1 5 2 3  cat

1 2 7 8 5  dog

2 3 3 6 7 horse

3 2 2 8 3  duck

4 4 4 2 1 mouse

7)读取csv创建一个具有等级结构的DataFrame，可以read_csv()指定index_col选项，把想要转换为索引的列名称赋给index_col

>>> csvframe=pd.read_csv('/Users/caojin/Desktop/myCSV_03.csv',index_col=['colors','status'])

>>> csvframe

item1 item2 item3

colors status

black up     3   4   6

down    2   6   7

white up     5   5   5

down    3   3   2

left    1   2   1

red  up     2   2   2

down    1   1   4

3.用RegExp(正则表达式)解析txt文件

1)不是以逗号或者分号分割的需要用read_table()函数，并指sep选项为一个正则表达式

2)以下txt元素都以一个或者多个制表符或者空格相隔

>>> import pandas as pd

>>> txtframe=pd.read_table('/Users/caojin/Desktop/ch05_04.txt',sep='\s*')

>>> txtframe

White red blue green

0   1  5   2   3

1   2  7   8   5

2   3  3   6   7

3)以下txt文件中数字和字母杂糅，需要从中抽取数字部分，无表头需要用header设置成None

>>> txtframe=pd.read_table('/Users/caojin/Desktop/ch05_05.txt',sep='\D*',header=None)

>>> txtframe

0  1  2

0 0 123 122

1 1 124 321

2 2 125 333

4)使用skiprows可以排除多余的行

如果排除前5行

如果只排除第5行

>>> txtframe=pd.read_table('/Users/caojin/Desktop/ch05_06.txt',sep=',',skiprows=[0,1,3,6])

>>> txtframe

White red blue green animal

0   1  5   4  cat  NaN

1   2  7   8   5  dog

2   3  3   6   7 horse

3   2  2   8   3  duck

4   4  4   2   1 mouse

4.从txt文件中读取部分数据

只想读取文件一部分，可明确指定要解析的行号这时要用到nrows和skiprows选项，可以指定起始行n(n=skiprows)和从起始行往后读多少行(nrows=i)

>>> csvframe=pd.read_csv('/Users/caojin/Desktop/myCSV_02.csv',skiprows=[2],nrows=3,header=None)

>>> csvframe

0 1 2 3   4

0 1 5 2 3  cat

1 2 7 8 5  dog

2 2 2 8 3 duck

5.切分想要的文本，遍历各个部分逐一对其执行某一特定操作

对于一列数字，每隔两行取一个累加起来，最后把和插入倒Series对象中(暂时略过)

6.往csv文件写入数据

1)携带索引和列名的写入

>>> import numpy as np

>>> import pandas as pd

>>> frame=pd.DataFrame(np.arange(16).reshape(4,4),index=[1,2,3,4],columns=['a','b','c','d'])

>>> frame

a  b  c  d

1  0  1  2  3

2  4  5  6  7

3  8  9 10 11

4 12 13 14 15

>>> frame.to_csv('/Users/caojin/Desktop/ch05_07.csv')

2)取消携带索引和列名

>>> frame.to_csv('/Users/caojin/Desktop/ch05_08.csv',index=False,header=False)

3)数据结构中的NaN写入csv文件后显示为空

4)使用to_csv()函数中的na_rep选项把空字段替换为你需要的值

>>> frame=pd.read_csv('/Users/caojin/Desktop/ch05_09.csv')

>>> frame

Unnamed: 0  a  b  c  d

0      0 NaN 2.0 NaN 1.0

1      1 1.0 NaN NaN 2.0

2      2 NaN 1.0 NaN NaN

3      3 1.0 NaN  d NaN

4      4 3.0 3.0 NaN 5.0

>>> frame.to_csv('/Users/caojin/Desktop/ch05_10.csv',na_rep='h')

7.安装html5lib模块

8.写入数据到HTML文件

>>> frame=pd.DataFrame(ny.arange(16).reshape(4,4))

>>> frame

0  1  2  3

0  0  1  2  3

1  4  5  6  7

2  8  9 10 11

3 12 13 14 15

>>> print(frame.to_html())

0

1

2

3

0

0

1

2

3

1

4

5

6

7

2

8

9

10

11

3

12

13

14

15

9.从HTML文件读取数据

1)先写入DataFrame到一个网页

>>> import html5lib

>>> import numpy as np

>>> import pandas as pd

>>> frame=pd.DataFrame(np.random.random((4,4)),index=['white','black','red','blue'],columns=['up','down','right','left'])

>>> frame

up   down   right   left

white 0.003468 0.319286 0.713373 0.169162

black 0.228553 0.289013 0.263125 0.817748

red  0.032618 0.286309 0.099676 0.765746

blue  0.824121 0.820978 0.858056 0.468772

>>> s=['']

>>> s.append('MY DATAFRAME')

>>> s.append('')

>>> s.append(frame.to_html())

>>> s.append('')

>>> html=''.join(s)

>>> html_file=open('/Users/caojin/Desktop/myFrame.html','w')

>>> html_file.write(html)

835

>>> html_file.close()

·2)从这个网页读取数据

>>> import lxml

>>> import numpy as np

>>> import pandas as pd

>>> web_frames=pd.read_html('file:///Users/caojin/Desktop/myFrame.html')

>>> web_frames

[ Unnamed: 0    up   down   right   left

0   white 0.003468 0.319286 0.713373 0.169162

1   black 0.228553 0.289013 0.263125 0.817748

2    red 0.032618 0.286309 0.099676 0.765746

3    blue 0.824121 0.820978 0.858056 0.468772]

10.从XML读取数据(暂时略过)

11.读写excel文件

1)读出excel文件

>>> pd.read_excel('/Users/caojin/Desktop/data.xls')

white red green black

a   12  23   17   18

b   22  16   19   18

c   14  23   22   21

>>> pd.read_excel('/Users/caojin/Desktop/data.xls','Sheet2')

yellow purple blue orange

A   11   16  44   22

B   20   22  23   44

C   30   31  37   32

>>> pd.read_excel('/Users/caojin/Desktop/data.xls','Sheet1')

white red green black

a   12  23   17   18

b   22  16   19   18

c   14  23   22   21

>>> pd.read_excel('/Users/caojin/Desktop/data.xls',1)

yellow purple blue orange

A   11   16  44   22

B   20   22  23   44

C   30   31  37   32

>>> pd.read_excel('/Users/caojin/Desktop/data.xls',0)

white red green black

a   12  23   17   18

b   22  16   19   18

c   14  23   22   21

2)将dataframe对象写入xlsx文件中

>>> import numpy as np

>>> import pandas as pd

>>> import xlrd as xd

>>> import openpyxl as oxl

>>> frame=pd.DataFrame(np.random.random((4,4)),index=['white','black','red','blue'],columns=['up','down','right','left'])

>>> frame

up   down   right   left

white 0.464526 0.030887 0.893895 0.998091

black 0.116045 0.423554 0.255795 0.407073

red  0.378234 0.124358 0.475569 0.041171

blue  0.764820 0.093615 0.830751 0.356033

>>> frame.to_excel('/Users/caojin/Desktop/data2.xlsx')

12.读写json文件

1)将DataFrame转化位json

>>> frame

up   down   right   left

white 0.464526 0.030887 0.893895 0.998091

black 0.116045 0.423554 0.255795 0.407073

red  0.378234 0.124358 0.475569 0.041171

blue  0.764820 0.093615 0.830751 0.356033

>>> frame.to_json('/Users/caojin/Desktop/frame.json')

2)读取json

>>> pd.read_json('/Users/caojin/Desktop/frame.json')

down   left   right    up

black 0.423554 0.407073 0.255795 0.116045

blue  0.093615 0.356033 0.830751 0.764820

red  0.124358 0.041171 0.475569 0.378234

white 0.030887 0.998091 0.893895 0.464526

3)复杂的json文件

编写复杂的json文件

以上结构不再是列表形式，而是一种更为复杂的形式，因此无法在使用read_json()来处理，所以首先要对负责的json进行格式化规范化

>>> import numpy as np

>>> import pandas as pd

>>> import json #由于后面要用到json.loads()函数将json文件转化成python结果，所以要引入json包

>>> from pandas.io.json import json_normalize #由于后面要将json的数据进行规范化所以要引入，规范化后就产出一个dataframe格式的对象

>>> file=open('/Users/caojin/Desktop/books.json','r') #以只读的形式打开已经存号的json文件

>>> text=file.read() #读出json内容赋值给text

>>> print(text)

[

{

"writer":"mark ross",

"nationalit":"usa",

"books":

[

{

"title":"xmlcookbiook",

"price":23.56

},

{

"title":"python fundamentals",

"price":50.70

},

{

"title":"the numpy library",

"price":12.30

}

]

},

{

"writer":"barbara bracket",

"nationalit":"uk",

"books":

[

{

"title":"java Enterprise",

"price":28.60

},

{

"title":"html5",

"price":31.35

},

{

"title":"python for dummies",

"price":28.00

}

]

}

]

>>> text2=json.loads(text)#利用loads函数对读出的text内容进行转换成python格式

>>> print(text2)

[{'nationalit': 'usa', 'books': [{'title': 'xmlcookbiook', 'price': 23.56}, {'title': 'python fundamentals', 'price': 50.7}, {'title': 'the numpy library', 'price': 12.3}], 'writer': 'mark ross'}, {'nationalit': 'uk', 'books': [{'title': 'java Enterprise', 'price': 28.6}, {'title': 'html5', 'price': 31.35}, {'title': 'python for dummies', 'price': 28.0}], 'writer': 'barbara bracket'}]

>>> text3=json_normalize(text2,'books')#利用json_normalize函数对text2的内容按照books键进行产出

>>> text3

price        title

0 23.56     xmlcookbiook

1 50.70 python fundamentals

2 12.30  the numpy library

3 28.60   java Enterprise

4 31.35        html5

5 28.00  python for dummies

然而可以将其余同books统一级别的其他键的作为第三个数组参数传入

>>> text4=json_normalize(text2,'books',['writer','nationalit'])

>>> text4

price        title nationalit      writer

0 23.56     xmlcookbiook    usa    mark ross

1 50.70 python fundamentals    usa    mark ross

2 12.30  the numpy library    usa    mark ross

3 28.60   java Enterprise     uk barbara bracket

4 31.35        html5     uk barbara bracket

5 28.00  python for dummies     uk barbara bracket

13.HDF5格式

如果想要分析大量数据，最好使用二进制格式

python有很多二进制数据处理工具，HDF5库比较优秀，这种文件的数据结构由节点组成，能够存储大量数据集

>>> import numpy as np

>>> import pandas as pd

>>> import tables as tb #后续要使用HDFS函数必须用这个模块

>>> from pandas.io.pytables import HDFStore

>>> frame=pd.DataFrame(np.arange(16).reshape(4,4),index=['white','black','red','blue'],columns=['up','down','right','left'])

>>> frame

up down right left

white  0   1   2   3

black  4   5   6   7

red   8   9   10  11

blue  12  13   14  15

>>> store=HDFStore('/Users/caojin/Desktop/mydata.h5')#创建一个h5格式文件

>>> store['obj1']=frame#将dataframe对象放入倒h5中

>>> store['obj1']

up down right left

white  0   1   2   3

black  4   5   6   7

red   8   9   10  11

blue  12  13   14  15

14.pickle--python对象序列化

15.用cPickle实现Python对象序列化

序列化=将对象的层级结构转换位字节流的过程

16.用pandas实现对象序列化

>>> import pandas as pd

>>> import numpy as np

>>> frame=pd.DataFrame(np.arange(16).reshape(4,4),index=['white','black','red','blue'],columns=['up','down','right','left'])

>>> frame

up down right left

white  0   1   2   3

black  4   5   6   7

red   8   9   10  11

blue  12  13   14  15

>>> frame.to_pickle('/Users/caojin/Desktop/frame.pkl')

>>> pd.read_pickle('/Users/caojin/Desktop/frame.pkl')#反序列化

up down right left

white  0   1   2   3

black  4   5   6   7

red   8   9   10  11

blue  12  13   14  15

17.对接数据库--mysql数据库连接(这个之后找时间专门写一天笔记)

1)python直接链接数据库(这个之后找时间专门写一天的笔记)

2)Python借助pandas链接数据库

import pandas as pd

import MySQLdb

conn=MySQLdb.connect(host="localhot",user="root",passwd="*****",db="test",charset="utf8")

sql = "select * from user limit 3"

df = pd.read_sql(sql,conn,index_col="id")

print df

cur = conn.cursor()

cur.execute("drop table if exists user")

cur.execute('create table user(id int,name varchar(20))' )

pd.io.sql.write_frame(df,"user",conn)

18.SQLite3数据读写(暂时略过)

19.PostgreSQL数据读写(展示略过)

20.NoSQL数据库MongDB数据读写(展示略过)