pandas
文章平均质量分 91
小金子的夏天
不深思则不能造于道。不深思而得者,其得易失。
展开
-
保证缓存和数据库的数据一致性
缓存由于其高性能,支持高并发的特性,在高并发的项目中不可或缺。被大家广泛使用的有Redis,Memcached等。本文主要探讨几种常见的缓存的读写模式,以及如何来保证缓存和数据库的数据一致性。Cache-AsideCache-Aside可能是项目中最常见的一种模式。它是一种控制逻辑实现在应用程序中的模式。缓存不和数据库直接进行交互,而是由应用程序来同时和缓存以及数据库打交道。Cache-Aside的名字正体现了这个模式,Cache在应用的一旁(aside)。读数据时程序需要判断缓存中是否已经原创 2022-03-02 17:16:46 · 903 阅读 · 0 评论 -
Pandas缺失数据
原文出自【易百教程】,商业转载请联系作者获得授权,非商业转载请保留原文链接:https://www.yiibai.com/pandas/python_pandas_missing_data.html何时以及为什么数据丢失?想象一下有一个产品的在线调查。很多时候,人们不会分享与他们有关的所有信息。 很少有人分享他们的经验,但不是他们使用产品多久; 很少有人分享使用产品的时间,经验,但不是...转载 2019-07-08 18:48:32 · 420 阅读 · 0 评论 -
Pandas字符串和文本数据
在本章中,我们将使用基本系列/索引来讨论字符串操作。在随后的章节中,将学习如何将这些字符串函数应用于数据帧(DataFrame)。Pandas提供了一组字符串函数,可以方便地对字符串数据进行操作。 最重要的是,这些函数忽略(或排除)丢失/NaN值。几乎这些方法都使用Python字符串函数(请参阅: http://docs.python.org/3/library/stdtypes.html...原创 2019-06-27 18:54:56 · 537 阅读 · 0 评论 -
Pandas聚合
当有了滚动,扩展和ewm对象创建了以后,就有几种方法可以对数据执行聚合。DataFrame应用聚合让我们创建一个DataFrame并在其上应用聚合。import pandas as pdimport numpy as npdf = pd.DataFrame(np.random.randn(10, 4), index = pd.date_range('1/1/2019...原创 2019-07-03 13:42:03 · 195 阅读 · 0 评论 -
Pandas索引和选择数据
在本章中,我们将讨论如何切割和丢弃日期,并获取Pandas中大对象的子集。Python和NumPy索引运算符"[]"和属性运算符"."。 可以在广泛的用例中快速轻松地访问Pandas数据结构。然而,由于要访问的数据类型不是预先知道的,所以直接使用标准运算符具有一些优化限制。对于生产环境的代码,我们建议利用本章介绍的优化Pandas数据访问方法。Pandas现在支持三种类型的多轴索引; 这三...原创 2019-06-28 10:13:17 · 316 阅读 · 0 评论 -
Pandas分组(GroupBy)
任何分组(groupby)操作都涉及原始对象的以下操作之一。它们是 -分割对象 应用一个函数 结合的结果在许多情况下,我们将数据分成多个集合,并在每个子集上应用一些函数。在应用函数中,可以执行以下操作 -聚合 - 计算汇总统计 转换 - 执行一些特定于组的操作 过滤 - 在某些情况下丢弃数据下面来看看创建一个DataFrame对象并对其执行所有操作 -import pan...原创 2019-07-10 15:26:50 · 1423 阅读 · 0 评论 -
Pandas合并/连接(两个dataframe的筛选/合并)
Pandas具有功能全面的高性能内存中连接操作,与SQL等关系数据库非常相似。Pandas提供了一个单独的merge()函数,作为DataFrame对象之间所有标准数据库连接操作的入口 -pd.merge(left, right, how='inner', on=None, left_on=None, right_on=None,left_index=False, right_index...原创 2019-07-11 11:00:26 · 13500 阅读 · 0 评论 -
Pandas级联(pandas对象合并连接到一个对象中)
Pandas提供了各种工具(功能),可以轻松地将Series,DataFrame和Panel对象组合在一起。pd.concat(objs,axis=0,join='outer',join_axes=None,ignore_index=False)其中,objs - 这是Series,DataFrame或Panel对象的序列或映射。 axis - {0,1,...},默认为0,这...原创 2019-07-11 13:28:43 · 587 阅读 · 0 评论 -
pandas时间序列的生成
时间序列Pandas为时间序列数据的工作时间提供了一个强大的工具,尤其是在金融领域。在处理时间序列数据时,我们经常遇到以下情况 -生成时间序列 将时间序列转换为不同的频率Pandas提供了一个相对紧凑和自包含的工具来执行上述任务。获取当前时间datetime.now()用于获取当前的日期和时间。import pandas as pdprint pd.datetime.n...原创 2019-07-11 14:04:54 · 3109 阅读 · 0 评论 -
Pandas窗口函数
为了处理数字数据,Pandas提供了几个变体,如滚动,展开和指数移动窗口统计的权重。 其中包括总和,均值,中位数,方差,协方差,相关性等。下来学习如何在DataFrame对象上应用上提及的每种方法。.rolling()函数这个函数可以应用于一系列数据。指定window=n参数并在其上应用适当的统计函数。import pandas as pdimport numpy as np...原创 2019-07-02 16:23:23 · 1944 阅读 · 0 评论 -
Pandas统计函数
统计方法有助于理解和分析数据的行为。现在我们将学习一些统计函数,可以将这些函数应用到Pandas的对象上。pct_change()函数系列,DatFrames和Panel都有pct_change()函数。此函数将每个元素与其前一个元素进行比较,并计算变化百分比。import pandas as pdimport numpy as nps = pd.Series([1,2,3,4,...原创 2019-07-02 14:30:47 · 389 阅读 · 0 评论 -
Pandas排序
Pandas有两种排序方式,它们分别是 -按标签 按实际值下面来看看一个输出的例子。import pandas as pdimport numpy as npunsorted_df=pd.DataFrame(np.random.randn(10,2),index=[1,4,6,2,3,5,9,8,0,7],columns=['col2','col1'])print (uns...原创 2019-06-26 17:35:28 · 294 阅读 · 0 评论 -
Pandas数据帧(DataFrame)
参考链接:原文出自【易百教程】,商业转载请联系作者获得授权,非商业转载请保留原文链接:https://www.yiibai.com/pandas/python_pandas_dataframe.htmlpandas.DataFramepandas中的DataFrame可以使用以下构造函数创建 -pandas.DataFrame( data, index, columns, dty...原创 2019-05-20 18:16:44 · 849 阅读 · 0 评论 -
pandas面板(Panel)
面板(Panel)是3D容器的数据。面板数据一词来源于计量经济学,部分源于名称:Pandas - pan(el)-da(ta)-s。3轴(axis)这个名称旨在给出描述涉及面板数据的操作的一些语义。它们是 -items - axis 0,每个项目对应于内部包含的数据帧(DataFrame)。 major_axis - axis 1,它是每个数据帧(DataFrame)的索引(行)。 m...转载 2019-05-23 15:03:52 · 2530 阅读 · 0 评论 -
python中的filter、map、reduce、apply
filter功能: filter的功能是过滤掉序列中不符合函数条件的元素,当序列中要删减的元素可以用某些函数描述时,就应该想起filter函数。调用: filter(function,sequence),function可以是匿名函数或者自定义函数,它会对后面的sequence序列的每个元素判定是否符合函数条件,返回TRUE或者FALSE,从而只留下TRUE的元素;sequence可以是列表...原创 2019-06-25 10:21:57 · 180 阅读 · 0 评论 -
Pandas函数应用
要将自定义或其他库的函数应用于Pandas对象,有三个重要的方法,下面来讨论如何使用这些方法。使用适当的方法取决于函数是否期望在整个DataFrame,行或列或元素上进行操作。表合理函数应用:pipe() 行或列函数应用:apply() 元素函数应用:applymap()表格函数应用可以通过将函数和适当数量的参数作为管道参数来执行自定义操作。 因此,对整个DataFrame执行操作。...原创 2019-06-25 13:31:08 · 513 阅读 · 0 评论 -
Pandas基本功能
系列基本功能编号 属性或方法 描述 1 axes 返回行轴标签列表。 2 dtype 返回对象的数据类型(dtype)。 3 empty 如果系列为空,则返回True。 4 ndim 返回底层数据的维数,默认定义:1。 5 size 返回基础数据中的元素数。 6 values 将系列作为...原创 2019-06-18 15:03:05 · 243 阅读 · 0 评论 -
Pandas重建索引
重新索引会更改DataFrame的行标签和列标签。重新索引意味着符合数据以匹配特定轴上的一组给定的标签。可以通过索引来实现多个操作 -重新排序现有数据以匹配一组新的标签。 在没有标签数据的标签位置插入缺失值(NA)标记。示例(该示例可用于从dataframe中做数据筛选,并构建一个新的dataframe,没有的字段会被填为NaN)import pandas as pdimpor...原创 2019-06-26 11:21:19 · 402 阅读 · 0 评论 -
Pandas迭代
Pandas对象之间的基本迭代的行为取决于类型。当迭代一个系列时,它被视为数组式,基本迭代产生这些值。其他数据结构,如:DataFrame和Panel,遵循类似惯例迭代对象的键。简而言之,基本迭代(对于i在对象中)产生 -Series - 值 DataFrame - 列标签 Pannel - 项目标签迭代DataFrame迭代DataFrame提供列名。现在来看看下面的例子来理解...原创 2019-06-26 14:08:07 · 497 阅读 · 0 评论 -
python下的Pandas中DataFrame基本操作
简介pandas作者Wes McKinney 在【PYTHON FOR DATA ANALYSIS】中对pandas的方方面面都有了一个权威简明的入门级的介绍,但在实际使用过程中,我发现书中的内容还只是冰山一角。谈到pandas数据的行更新、表合并等操作,一般用到的方法有concat、join、merge。但这三种方法对于很多新手来说,都不太好分清使用的场合与用途。构造函数方法 ...转载 2019-06-18 18:21:43 · 406 阅读 · 0 评论 -
pandas数据结构Series
Pandas处理以下三个数据结构系列(Series) 数据帧(DataFrame) 面板(Panel)特点:1. Pandas数据结构是值可变的(可以更改),除了系列都是大小可变的。系列是大小不变的; 2. 较高维数据结构是其较低维数据结构的容器。 例如,DataFrame是Series的容器,Panel是DataFrame的容器。Series...原创 2019-05-14 15:50:19 · 220 阅读 · 0 评论