hhladminhhl的博客

分组与聚合通常是分析数据的一种方式，通常与一些统计函数一起使用，查看数据的分组情况1 什么分组与聚合2 分组APIDataFrame.groupby(key, as_index=False)key:分组的列数据，可以多个案例:不同颜色的不同笔的价格数据col =pd.DataFrame({'color': ['white','red','green','red','green'], 'object': ['pen','pencil','pencil','ashtray','pen']

1 数据离散化1.1 为什么要离散化连续属性离散化的目的是为了简化数据结构，数据离散化技术可以用来减少给定连续属性值的个数。离散化方法经常作为数据挖掘的工具。1.2 什么是数据的离散化连续属性的离散化就是在连续属性的值域上，将值域划分为若干个离散的区间，最后用不同的符号或整数 值代表落在每个子区间中的属性值。离散化有很多种方法，下面距离一种最简单的方式去操作。原始人的身高数据：165，174，160，180，159，163，192，184假设按照身高分几个区间段：150-165，165-18

1 如何处理NAN获取缺失值的标记方式(NaN或者其他标记方式)如果缺失值的标记方式是NaN判断数据中是否包含NaN：pd.isnull(df),pd.notnull(df)存在缺失值nan:1、删除存在缺失值的:dropna(axis=‘rows’)注：不会修改原数据，需要接受返回值2、替换缺失值:fillna(value, inplace=True)value:替换成的值inplace:True:会修改原数据，False:不替换修改原数据，生成新 的对

我们的数据大部分存在于文件当中，所以pandas会支持复杂的IO操作，pandas的API支持众多的文件格式，如CSV、SQL、XLS、JSON、HDF5。注：最常用的HDF5和CSV文件。1 CSV1.1 read_csvpandas.read_csv(filepath_or_buffer, sep =’,’, usecols )filepath_or_buffer:文件路径sep :分隔符，默认用","隔开usecols:指定读取的列名，列表形式举例：读取之前的股票的数据

1 算术运算add(other) / sub(other)’比如进行数学运算加上或者减去具体的一个数字data['open'].add(1)2018-02-27 24.532018-02-26 23.802018-02-23 23.882018-02-22 23.252018-02-14 22.492 逻辑运算2.1 逻辑运算符号例如筛选data[“open”] > 22的日期数据data[“open”] > 22返回逻辑结果

为了更好的理解这些基本操作，下面会通过读取一个股票数据，来进行Pandas基本数据操作的语法介绍。# 读取文件（读取保存文件后面会专门进行讲解，这里先直接调用下api）data = pd.read_csv("./data/stock_day.csv") # 读取当前目录下一个csv文件# 删除一些列，让数据更简单些，再去做后面的操作data = data.drop(["ma5","ma10","ma20","v_ma5","v_ma10","v_ma20"], axis=1)1 索引操作

1 Pandas介绍2008年WesMcKinney开发出的库专门用于数据挖掘的开源python库以Numpy为基础，借力Numpy模块在计算方面性能高的优势基于matplotlib，能够简便的画图独特的数据结构Numpy已经能够帮助我们处理数据，能够结合matplotlib解决部分数据展示等问题，那么pandas学习的目的在什么地方呢？增强图表可读性便捷的数据处理能力读取文件方便封装了Matplotlib、Numpy的画图和计算2 Pandas数据结构Pandas中一共有三