pandas的数据类型--数据采集与分析工具

数据采集与分析工具

钉钉群(建立课程钉钉群)

慕课系统
http://hznu.fanya.chaoxing.com/portal

python2.7 与 Python3 区别

• print要加括号！

https://www.cnblogs.com/big-devil/p/7625894.html

print(1)

1

新课程的内容

• 大纲，实验计划

• 数据分析 or 数据采集

• Python的数据生态系统：numpy,scipy,pandas,beatifulsoup,scarpy,matplotlib,pyecharts…（见xmind）

Windows 下 Python 安装与使用

• winpython

主页，我们的版本是WinPython 3.7.0.2-64bit，可以自己去主页上下载：
https://winpython.github.io/

也可以去我的百度云，64位下载地址：
https://pan.baidu.com/s/1Yq2iwCMXN7jKYXIC_-6cTw

• 双击安装，其中一些选项默认就好，但注意选择安装目录的时候需要安装在一个英文目录下面，目录中不要有中文

Python基础知识回顾

• 需要吗？
• 复杂数据类型：列表，字典等
• 程序流程控制：循环，条件，函数
• 文件操作，计数的方法

#列表
a=[9,2,1,4]
print(a[0],a[1:3])

9 [2, 1]

a.append(3)
a

[9, 2, 1, 4, 3]

d={2:4,5:1}
print(d[5])
print(d.values(),d.keys(),d.items())

1
dict_values([4, 1]) dict_keys([2, 5]) dict_items([(2, 4), (5, 1)])

print(list(d.values())[0])
for i in d.values():
    print(i)

4
4
1

for i in range(2,5):
    print(i)

2
3
4

d={1:4}
d.get(2,8)

8

a=[2,4,1,2,4]
r={}
for i in a:
    r[i]=r.get(i,0)+1
print(r)

{2: 2, 4: 2, 1: 1}

a=[3,4,1,1,4]
c=0
for i in a:
    c=c+i
print(c)

13

pandas

• 最重要的基础数据分析处理包

pandas的数据类型

import numpy as np
import pandas as pd

series的创建

• 无论是series还是dataframe都是在numpy的array基础上构建的
• 序列可以看成有顺序的字典或是有自定义索引的array

a=pd.Series([2,3,6],index=["i","u",3])#值必须类型一样
a

i    2
u    3
3    6
dtype: int64

a["i"]

2

a[2]#双索引机制

6

#赋值
a[0]=8.32
#a[0]="aaa"
a

i    8
u    3
3    6
dtype: int64

a.values

array([8, 3, 6], dtype=int64)

a.index

Index(['i', 'u', 3], dtype='object')

b=pd.Series({"w":2,2:4,3:3,"o":5,"r":6})#字典形式
b

w    2
2    4
3    3
o    5
r    6
dtype: int64

a=pd.Series([2,4,3,5,6])#会自动添加索引
a

0    2
1    4
2    3
3    5
4    6
dtype: int64

b=pd.Series({"w":2,2:4,3:3,"o":5,"r":6},index=["r","o"])#只会选取index中的索引
b

r    6
o    5
dtype: int64

dataframe的创建

• 一个二维数组并且横向与纵向都有自定义索引
• dataframe可以看成一系列有相同索引的series

np.random.randn(6,3)

array([[ 0.93058142,  0.77019753, -0.51476983],
       [-1.00178584, -0.48270254,  0.73043323],
       [ 0.54292453,  0.48071071, -1.58201189],
       [ 1.57962945,  0.2586103 ,  0.36540852],
       [ 0.47069817,  0.58140324,  0.90716359],
       [-1.14667799, -2.17332435,  0.90351004]])

a=pd.DataFrame(np.random.randn(6,3),index=range(2,8), columns=["a","b","c"])#相对数组增加了横向和纵向的自定义索引，双索引机制
a

	a	b	c
2	1.271704	0.634301	0.405262
3	-0.120751	-0.879684	-0.181473
4	0.953220	0.453240	0.149582
5	0.660946	0.461971	-0.560160
6	0.152444	0.199540	-0.237531
7	0.817927	-0.364992	-1.040131

a["b"]

2    0.634301
3   -0.879684
4    0.453240
5    0.461971
6    0.199540
7   -0.364992
Name: b, dtype: float64

#a[3]

a.values

array([[ 0.05118313,  0.39638064,  0.38787328],
       [ 0.55483877, -1.17624348,  0.8606569 ],
       [-0.90502513,  2.06223449, -0.27556449],
       [-0.45554163,  0.007331  , -0.89722409],
       [-1.2040777 ,  0.20244219,  0.51471742],
       [-0.44531058, -0.49707473, -1.94881836]])

a.index

RangeIndex(start=2, stop=8, step=1)

a.columns

Index(['a', 'b', 'c'], dtype='object')

a=pd.DataFrame(np.random.randn(6,3), columns=["a","b","c"])
a

	a	b	c
0	1.664421	0.495775	-0.945343
1	-0.443564	2.499683	0.145670
2	-0.385458	-0.146777	0.397846
3	-0.307054	0.404264	-0.754313
4	-0.473609	-0.243507	-0.583231
5	-2.057494	-1.082490	0.376665

a=pd.DataFrame(np.random.randn(6,3))#会自动把隐式索引添加上去
a

	0	1	2
0	2.750190	-2.037230	1.342428
1	0.004734	-0.160271	-0.787664
2	0.166225	0.677395	1.055825
3	-0.004122	0.418734	2.593051
4	-0.641335	-0.828338	0.882715
5	-0.802709	0.019870	0.257846

b=pd.DataFrame({"a":[2,3],"b":[3,4]})#通过字典定义dataframe
b

	a	b
0	2	3
1	3	4

b=pd.Series({"w":2,2:4,3:3,"o":5,"r":6})#通过序列生成数据框
pd.DataFrame(b)

	0
w	2
2	4
3	3
o	5
r	6

pd.DataFrame({"c1":b,"c2":b},index=["w","o"])#通过series定义dataframe

	c1	c2
w	2	2
o	5	5

pd.DataFrame([b])#注意这里转置了

	w	2	3	o	r
0	2	4	3	5	6

通过文件读入dataframe

• 注意源文件是否有列标，没有的时候可以自己用names补充

r1=pd.read_csv(r"D:\t_alibaba_data3.txt",names=["user","brand","behavr","date"],sep="\t",dtype={"behavr":int})
#pandas会自己判断数据类型，但是有时也需要自己额外指定数据类型

r1.head()

	user	brand	behavr	date
0	10944750	13451	0	06/04
1	10944750	13451	2	06/04
2	10944750	13451	2	06/04
3	10944750	13451	0	06/04
4	10944750	13451	0	06/04

#r1["date"]

索引

• 元素所处的位置，和列表的位置，字典的键类似

• 实现过滤的原理

a1=pd.Series([2,3,6,0],index=[7,9,3,2])
b1=pd.Index([0,1,2,3])#也可以通过Index自定义索引

a1.index

Int64Index([7, 9, 3, 2], dtype='int64')

b1

Int64Index([0, 1, 2, 3], dtype='int64')

a1.index&b1

Int64Index([3, 2], dtype='int64')

a1.index|b1

Int64Index([0, 1, 2, 3, 7, 9], dtype='int64')

a1.index^b1

Int64Index([0, 1, 7, 9], dtype='int64')

a1[a1.index&b1]

3    6
2    0
dtype: int64

b1[0]
#b1[0]=9#不可更改

0