利用Python进行数据分析
NumPy基础：数组和矢量计算
生成数组：
np.random.randn(10) 生成10个标准正态分布的随机数
np.arange(10) 长度为10的数组，值分别是0-9
arr=np.array(列表名) 列表变成数组
np.zeros(10) ones(10 表示生成全为0 或者全为1的数组
np.empty((2.3.2)) 返回未初始化的垃圾值
np.eye() np.identity() 创建单位矩阵n*n
数组切片：
arr[m:n] 表示包括n，不包括m
arr[0,2] 和 arr[0][2] 表示二维数组访问单个元素的含义是相同的
arr[:2,1:] 表示前两行的第一列以及第一列后边
arr[:2] 表示前两行
data[name ==‘guo’,2:] 布尔型索引(python关键字and or在布尔型中无效，用丨和&)
data[ data<0]=0
arr[[3,5,4,1]] 表示按35,4,1的顺序返回四行数据（花式索引将数据复制到新数组）
arr[[3,5,4,1],[ 3,5,4,1]] 表示返回（3，3）（5,5）元素（花式索引）
arr[[3,5,4,1],[：，3,5,4,1]] 表示按照特定的行和列顺序返回
arr[np.ix_([3,5,4,1],[3,5,4,1])] 用np.ix_函数表示按照特定的行和列顺序返回
数组转置和轴对换(返回源数组视图)
arr.T 二维数组直接转置
ar.transpose((n,m,l)) n.m.l表示维数的编号
arr.swapaxes(1,2) 根据shape（n,m,l）→（m,n,l），转置数组
通用函数
一元函数 | 说明 |
abs、fabs | 计算整数、浮点数或复数的绝对值。对于非复数，可以用更快的fabs |
sqrt、square、exp | 计算元素的平方根、平方、指数ex |
sign | 计算元素的正负号 |
ceil | 大于等于该值的最小整数 |
floor | 小于等于该值的最大整数 |
rint | 四舍五入最接近的整数，保留dtype |
modf | 将数组的整数部分和小数部分以两个独立的数组返回 |
isnan | 返回一个表示哪些是NAN的布尔型数组 |
Isfinite/isinf | 返回表示有穷和无穷的布尔型数组 |
二元函数 | 说明 |
subtract | 从第一个数组中减去第二个数组中的元素 |
multiply | 数组元素相乘 |
divide、floor_divide | 除法或者向下圆整除法（丢弃余数） |
power | AB |
maximum/fmax | 元素级的最大值计算，fmax忽略NAN |
mod | 元素级取模运算（除法的余数） |
copysign | 将第二个数组中的值的符号复制给第一个数组中的值 |
greater/greater_equal/ less/less_equal/equal/not_equal | 执行元素级别的比较运算，最终产生布尔型数组 |
logical_and/logical_or/logical_xor | 执行元素级的真值逻辑运算 |
利用数组进行数据处理
np.where函数是x if condition else y 的矢量化版本；
result=np.where(cond,x,y) 括号中condition为ture时x，否则y
改写嵌套：np.where(cond1&cond2,0
np.where(cond1,1
np.where(cond2,2,3)))
argmin、argmax 分别表示最大和最小元素的索引
cumsum、cumprod 所有元素的累积和、累积积（横轴1，纵轴0）
arr.sort(1) 多维数组根据某一维排序只需要根据排序的轴序号传入即可
数组的集合运算 | 说明 |
uniques(x) | 计算x中为唯一元素，并返回有序结果(序列根据发现的顺序) |
value_counts | 计算series中各值出现的频率 |
intersect1d(x,y) | 计算xy中的公共元素，并返回有序结果 |
union1d(x,y) | xy的并集，并返回有序结果 |
in1d(x,y) | 得到元素x是否包含于y的布尔型数组 |
setdiff1d(x,y) | 集合的差 |
setxor1d(x,y) | 集合的对称差，即X+Y-2XY |
数组文件的输入输出
np.save(’文件名‘，数组)和np.load（’文件名‘）将数组以二进制格式保存到磁盘;
np.savez(’文件名‘，数组)将多个数组存到一个压缩文件下，读取时返回字典形式的数组
arr.np.loadtxt(‘arr_ex.txt’.delimiter=’，’)将逗号分隔符文件转化为二维数组
线性代数
numpy.linalg函数 | 说明 |
diag | 以一维数组的形式返回方阵的对角线元素，或者将一维数组转化为方阵（非对角线元素为0） |
dot | 矩阵乘法；矩阵*矩阵=矩阵/数 |
trace | 对角线元素之和 |
det | 计算矩阵行列式 |
eig | 求解特征值和特征向量 |
inv | 逆矩阵 |
pinv | 伪逆矩阵 |
qr | 计算QR分解值 |
svd | 计算奇异值分界SVD |
solve | 解线性方程组Ax=b,其中A为一个方阵 |
lstsq | 计算Ax=b 的最小二乘解 |
随机数生成
numpy.random模块对Python的内置random进行了补充，更加高效
numpy.ransom函数 | 说明 |
seed(x) | 确定随机数生成器的种子。如果x相同，返回的随机数相同，若没有参数，系统随机返回 |
permutation | 返回一个序列的随机排序或者返回一个随机排序的范围 |
shuffle | 对一个序列就地随机排序 |
rand | 均匀分布的样本值 |
randint | 从给定的上下限范围内随机选取整数 |
randn | 正态分布样本值（平均值为0，标准差为1） |
binomial | 二项分布的样本值 |
normal | 正态分布的样本值 |
beta | beta分布的样本值 |
chisquare | 卡方分布的眼本质 |
gamma | gamma分布的样本值 |
uniform | [0,1）中均匀分布的样本值 |
pandas入门
Series
series由一组数据以及一组与之相关的数据标签（即索引）组成。可以通过series的values和index属性获取其数组表示形式和索引对象。（可以通过字典构建series）
obj=Series([1,2,3],index=[‘a’,’b’,’c’])
obj[obj>2]，返回值大于2的，obj*2；np.exp(obj) 运算
series对象本身和索引都有一个name属性
DataFrame
frame= DataFrame(data,columns=[‘year’,’state’,’pop’],index=[‘one’,’two’,’three’])
将DataFrame的列获取为series：frame[‘year’]或者frame.year 索引还与原来相同，也可以根据其进行赋值，赋值的长度必须相同，如果有索引会匹配索引进行赋值
frame[‘guo’]=frame.year==’2019’ 添加列，并根据年份是否2019年进行赋值true、false
如果是嵌套字典形成DataFrame，则外层字典的键作为列，内层字典的键作为行，如果指定了索引，则按照索引
frame.columns返回所有列名
重新索引
reindex可以修改索引和列，series调用该函数，某个索引值不存在，直接引入缺失值nan，
method=ffill或pad（向前填充值或搬运值）、bfill或backfill（向后填充或搬运值）
参数 | 说明 |
fill_value | 重新索引过程中，需要引入缺失值是使用的替代值 |
limit | 向前或向后填充时的最大填充量 |
level | 在multindex的指定级别上匹配简单索引，否则选取其子集 |
copy | 默认true，无论如何复制；如果为false，则新旧相等就不复制 |
索引、选取和过滤
obj表示series：
obj[2:3]是闭区间
obj[1]和obg[‘a’]是相同意思
obj[obj<5]
obj[[‘c’,’a’,’b’]]按照给定序列输出
dataframe的索引选项 | 说明 |
obj.ix[val] | 选取dataframe的单行或者一组行 |
obj.ix[:,val] | 选取单个列或者一组列 |
xs方法 | 根据标签选取单行或者单列，并返回一个series |
icol、irow | 根据整数位置选取单列或者单行，并返回一个series |
get_value、set_value | 根据行列标签选取和重设某个值 |
算术运算和数据对齐
算术运算时，索引相同的进行算术运算，索引不同的引入nan值；
可以用fill_value=对缺失值进行填充
算术运算方法：add/sub/div/mul+-*/
dataframe和series的算数运算利用广播的形式进行计算（P136）
函数应用和映射
numpy的ufuncs（元素级数据方法）也可用于操作panadas对象；
另一种操作是，将函数应用到由各行或列形成的一维数组上，dataframe的apply方法可以实现：
f=lambdax:x.man()-x.min()
frame.apply(f,axis=1)
排序和排名
根据索引排序：sort_index(axis=1，ascending=False) ，默认axis=0
series按照值进行排序用order()，任何缺失值都会被放到最后
dataframe 根据多个列进行排序by即可：frame.sort_index(by=[‘a’,’b’])
rank()增设一个排名值：
obj.rank(ascending=False,methos=’max’)
排名时用于破坏平级关系的method | 说明 |
average | 默认：排名的平均值 |
min | 使用整个分组的最小排名 |
max | 使用整个分组的最大排名 |
first | 按值在原始数据中的出现顺序分配排名 |
汇总和计算描述统计
skipna 在进行汇总和计算时，排除缺失值，(默认为true)
描述和汇总统计 | 说明 |
count | 非NA值的数量 |
describe | 针对series和dataframe列计算汇总统计 |
argmin/argmax | 计算能够获取到最小值和最大值的索引位置 |
idxmin/idxman | 计算能够获取到最小值和最大值的索引值 |
mean/median | 值的平均值和中位数 |
mad | 根据平均值计算平均绝对离差 |
var/std | 样本值的方差和标准差 |
skew/kurt | 样本值的偏度/峰度 |
diff | 计算一阶差分（对时间序列很有用） |
pct_change | 计算百分数变化 |
相关系数corr和协方差cov
series：arr.a.corr(arr.b) 返回相关系数
dataframe：arr.corr() 返回相关矩阵（对称）
series和dataframe：arr.corrwith(arr.a) 返回series与dataframe中各列的相关系数
处理缺失数据
删除：
dropna：根据各标签的值中是否存在缺失数据对轴标签进行过滤，可通过阈值调节对缺失值的容忍度。
对于dataframe来说，dropna默认丢弃任何含有缺失值的行。想要丢弃列传入axis=1
arr.dropna(how=’all’) 丢弃全部为NA的行
arr.dropna(how=’any’) 丢弃任何包含NA的行
arr.dropna(thresh=3) 将至少含有三个非空值的行留下
填充：
fillna：将缺失值补充为常数
arr.fillna(0) 将缺失值补充为0
arr.fillna({1:0.5,2:9}) 通过调用字典，实现不同列填充不同值
fillna默认返回新对象，但也可以对现有对象进行就地修改。inplace=True
limit=n 可以连续填充的最大数量为n
层次化索引
能够以低纬度的形式处理高纬度的数据；index=[[‘a’,’a’,‘a’,’a’,’b’, ’b’],[1,2,3,4,1,2]]
frame.index.names=[‘key1’,’key2’] 索引名字重命名
swaplevel() 重新调整两个级别上的名称，但是数据不会发生变化。
sortlevel() 根据单个级别中的值对数据进行排序（稳定的）
根据级别汇总统计
frame.sum(level=’color’,axis=1)
dataframe中将其中一列或者多列当做行索引，使用set_index（），创建新的dataframe
frame2=frame.set_index([‘a’,’b’]) 将ab两列转化为行索引
默认情况下ab两列将删除，但也可以将其保留下来：
frame2=frame.set_index([‘a’,’b’]，drop=False)
reset_index()的功能正好和set_index()的功能相反，将层次化索引的级别转移到列里面
整数索引
如果轴索引含有索引器，那么根据整数进行数据选取的操作总是面向标签的。
ix[:1]，表示标签1前边的所有行；
如果需要基于位置索引，则series的get_value(位置参数)和dataframe的irow()行和icol()列
.loc[] 基于标签
.iloc[] 基于位置
面板数据
用一个dataframe对象组成的字典或者一个三维ndarry来创建panel对象：
对于呈现面板数据的办法是堆积式的dataframe形式to_frame()：
stack=pdata.ix[:,’5/30/2019’,:].to_frame()
to_frame()的逆运算：to_panel()
数据加载、存储与文件格式
pandas中的解析函数 | 说明 |
read_csv | 从文件、URL、文件型对象中加载带分隔符的数据。默认分隔符为逗号 |
resd_table | 从文件、URL、文件型对象中加载带分隔符的数据。默认分隔符为制表符(“\t”) sep=’,’ |
read_fwf | 读取定宽列格式数据（也就是说没有分隔符） |
read_clipboard | 读取剪切板中的数据，可以看做rea_table的剪切板版。在将网页转化为表格时很有用 |
read_csv/read_table函数的参数 | 说明 |
path | 表示文件系统位置、URL、文件型对象的字符串 |
sep或delimiter | 对行中各字段进行拆分的字符序列或正则表达式 |
header | 用作列名的行号。默认0，表示第一行，没有用None表示 |
index_col | 用作行索引的列编号或列名。可以是单个也可以是多个组成的列表（层次化索引） |
names | 用于没有列名的列表；header=None时 |
skiprows | 要忽略的行数（从文件开始算起），或者需要跳过的行号（从0开始） |
na_value | 一组用于替换NA 的值 |
comment | 将注释信息从行尾拆分除去的字符（一个或多个） |
parse_dates | 尝试将数据解析为日期，默认false。若为true，则尝试解析所有列。此外还可以制定需要解析的列号或者列名。如果列表的元素为列表或元组，就会将多格列组合到一起在进行日期解析工作（日期/时间分别位于两列） |
keep_date_col | 如果连接多列解析日期，则保持参与连接的列。默认false |
converters | 由列号/列名跟函数之间的映射关系组成的字典。{‘foo’:f}会对foo列的所有值应用函数f |
dayfirst | 当解析有歧义的日期时，将其看做国际格式。默认false |
day_parser | 用于解析日期的函数 |
nrows | 需要读取的行数从文件开始出算起 |
iterator | 返回一个TextParser以便逐块读取文件 |
chunksize | 文件块的代销（用于迭代） |
skip_footer | 需要忽略的函数（从文件末尾处算起） |
verbose | 打印各种解析器输出信息，“非数值列中缺失值的数量” |
squeeze | 如果数据经解析后仅含有一列，返回series |
thousands | 千分位分隔符，如“，”或“.” |
扫一扫
1225
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
