数据处理基础
白衣法师甘道夫
这个作者很懒,什么都没留下…
展开
-
数据规整:层次化索引、合并、重塑
pandas的数据规整包含三个方面的内容:1.层次化索引;2.数据集合并;3.重塑。1 层次化索引在一个轴上拥有多个索引,能以低纬度处理高纬度问题;)层次化索引的赋值:data=pd.Series(np.random.randn(4),index=[['a','a','b','b'],[1,2,1,3]]))层次化索引的子集提取:data['b'] # 外层索引提取data...原创 2019-10-15 18:10:28 · 298 阅读 · 0 评论 -
pandas数据预处理初探:数据清洗、整备
本章节主要包含两个内容:1.缺失数据处理;2.数据转换(数值和字符串)。1.缺失数据处理)在pandas中,缺失数据以浮点值NaN表示,可以利用函数 data.isnull() 来判断,返回值为布尔型;)滤除缺失数据:data.dropna( ) # == data[data.notnull( )];dropna() 默认丢弃任何含有缺失值的行;dropna(how=‘all’)...原创 2019-10-12 17:41:40 · 314 阅读 · 0 评论 -
Pandas数据分析的准备工作:1.数据清洗
在Pandas数据分析、挖掘之前,需要对数据进行有效性判断,如果不满足要求,就需要对数据进行清洗、转换、规整(包含字符串)等操作,以使数据能表现出一定的特征或规律。本次内容主要对数据分析中:缺失数据处理;数据转换、过滤、排列:重复数据判定、修改,索引修改,(数据离散化和面元);数值检测、过滤;数据排列,随机采样;字符串(正则表达式re模块)。一、缺失数据处理在Pandas中,使用浮...原创 2019-09-07 17:22:30 · 241 阅读 · 0 评论