pandas处理csv数据小试

import pandas as pd
Import numpy as np

1.读取csv文件
Filepath = ''
Data = pd. read_csv(filepath, low_memory = False)

2.输出设置
pd.set_option('display.float_format', lambda x:'%f'%x) #display setting
pd.set_option('display.height',1000)
pd.set_option('display.max_rows',20)
pd.set_option('display.max_columns',500)
pd.set_option('display.width',1000)

3.map函数
#把data的列名全部变为大写
Data.columns = map(str.upper, Data.columns)

4.replace函数
#将列名为‘Test’的这一列中，所有的0替换为NaN
Data['Test'] = Data['Test'].replace([0], np.nan)

5.value_counts函数
#Data['birds']这一列是各种鸟类。下面这一行会将各个种类的鸟统计个数，NaN也会被统计。
Count_of_birds = Data['birds'].value_counts(sort = False, dropna = False)
#Data['birds']这一列是各种鸟类。下面这一行会将各个种类的鸟统计百分比，NaN也会被统计。
Count_of_birds = Data['birds'].value_counts(sort = False, normalize= True, dropna = False)

6.lambda和apply
#这里的apply函数是将function_name应用于所有的行，类似对于列。
Data['weight'] = Data.apply(lambda row: function_name (row), axis = 1)

7.条件筛选
#选出Data中符合条件的行数据或列数据。与或关系要弄清。
New_data = Data[condition1 | condition2 & condition3 ]

8.新建一个pd数据
#'C1'等是列名，c1，c2等是数据。
New_data = pd.DataFrame({'C1': c1, 'C2': c2, 'C3': c3})

更多学习资料，请关注下面的公众号：不定期分享

1. 深度学习网络总结
2. 机器学习算法及其应用场景
3. 算法与数据结构（leetcode 题解）
4. cuda编程与并行优化
5. 其他读书分享如：《战国策》，《智囊全集》
6. 宇宙常识科普与星座辨别
7. 等等

 

来自 <https://mp.csdn.net/mdeditor/102913743>