Jupyter显示所有行、使用pandas进行筛选数据、格式转换

Jupyter显示所有行

在运行项目调试过程中，使用Jupyter如果数据行数过多，软件会自动只显示前几行和后几行，这对于我们观察数据十分不方便，使用以下代码可以显示指定数量的数据行或者全部数据行

#设置显示全部行，不省略
pd.set_option('display.max_rows',None)
#设置显示全部列，不省略
pd.set_option('display.max_columns',None)

转换pandas中DataFrame的数据格式

在处理数据过程中，从文件中读取数据可能并不符合我们需要进行操作的数据类型，比如读取数据类型为string，但是我们需要选择大于某个浮点数的大小，这个时候需要使用到数据类型的转换

#使用pandas中的to_numeric() 方法method
# 数据类型转换   string ——>  float
import pandas as pd
tmp['xxxxx变化'] = pd.to_numeric(tmp['xxxxx变化'].astype(float))

使用pandas进行数据筛选

1. 在特定列的数据筛选过程中，pandas使用的语法有点巧妙，相对于其他语言来说是十分方便的，这里我们是针对特定列选择大小。

   #使用DataFrame中的loc[]和iloc[]方法选择指定的行和列
   import pandas as pd
   import numpy as np
   from pandas import Series, DataFrame
   data = {'H':['后','生','仔'],'S':['young','duty','dream'],'Z':[10,11,12]}
   DF = DataFrame(data)
   print(DF)
   # 使用loc或者iloc时，逗号前面代表行操作，逗号后面代表列操作
   #使用loc选择特定的列 
   print(DF.loc[:,['H','S']])
   #使用iloc选择特定的列
   print(DF.iloc[:,[1,2]])
   

2. 对数据进行部分预处理筛选

   #使用已经转换的数据
   tmp['xxxxx变化'] = pd.to_numeric(tmp['xxxxx变化'].astype(float))
   #选择tmp中"选择列"大于0.2，小于0.3的数据，并选择  tmp中指定列1,tmp中指定列2
   print(tmp[(tmp['选择列']>0.2) & (tmp['选择列']< 0.3)]['tmp中指定列1'，'tmp中指定列2'])
   #还可以使用这种方式
   print(tmp[tmp['选择列']>0.2][tmp['选择列']< 0.3]['tmp中指定列1'，'tmp中指定列2'])
   

参考：

Jupyter显示问题

选择特定的列

pandas按照条件筛选数据