chenhepg的博客

pandas.DataFrame nsmallest 和 nlargest 的使用

matplotlib运行报错：AttributeError: 'AxesSubplot' objeAttributeError: ‘AxesSubplot’ object has no attribute ‘rowNum’在matplotlib3.3.4下可以运行，但是matplotlib3.4.3就报错。版本问题，自己调整版本吧。参考资料Python报错：AttributeError: ‘AxesSubplot‘ object has no attribute ‘bar_label‘...

2、filter，可以对分组进行操作3、query，不能对分组操作4、参考链接pandas.DataFrame.filterPandas query 的用法， df.query

groupby 聚合函数 匿名函数 以后NaN值的处理4、分组后根据条件筛选5、有NaN值的处理df2.groupby(‘books’).apply(lambda x: x[‘num’]/x[‘num’].max()).reset_index()df2n = df2.groupby(‘books’)[‘num’].apply(lambda x: x/x.max())df2nPandas教程 | 超好用的Groupby用法详解DataFrame进行数据分组运算并筛............

用到pandas的melt方法。上面丢掉了班级，如何增加班级呢？pandas行转列、列转行、以及一行生成多行pandas如何进行优雅的列转行、行转列？Pandas中Dataframe行转列

@创建于：2022.04.29@修改于：2022.04.29文章目录1、安装包2、读取代码段3、官网推荐4、参考资料先安装cx_Oracle模块，然后进行读取。1、安装包pip install cx_Oracle# 下面是建议的conda install cx_Oracle2、读取代码段 def connct_oracle(self): ''' 从公司紫光云读取数据。 :return: ''' prin

@创建于：2022.01.28@修改于：2022.01.28详见连接：Pandas 时间序列 - 日期时间索引

@创建于：2022.01.26@修改于：2022.01.26文章目录1、PyPI下载2、镜像渠道3、如何解决包之间的依赖服务器是离线的，只能离线安装python的开发包。特定版本号的安装包的下载方式如下。1、PyPI下载（1）官网 https://pypi.org/（2）搜索包名称，如pandas，点击该包的任意一个版本（一般是最新版本）（3）进入history页面https://pypi.org/project/pandas/#history找到对应的版本号（4）点击Downlo

创建于：2021.12.01分享几个连接：如何根据分组平均值填充缺失值？熊猫：通过每组平均值填充缺失值pandas每天一题-题目18：分组填充缺失值

@创建于：20211126seaborn.histplothttps://seaborn.pydata.org/generated/seaborn.histplot.htmlseaborn.histplot（中文）https://www.osgeo.cn/seaborn/generated/seaborn.histplot.htmlseaborn.boxplothttp://seaborn.pydata.org/generated/seaborn.boxplot.htmlPlotting wi

@创建于：20211118文章目录1、直接写入2、直接写入3、参考链接1、直接写入如果只是想把一个DataFrame保存为单独的一个Excel文件，那么直接写：df_data.to_excel('xxx.excel', 'sheet1', index=False)保存为单个Excel文件和这个文件中的单个表。如果先前存在有同名的Excel文件，这样做会把之前的Excel文件覆盖掉。2、直接写入if not os.path.exists(file_path): df_data_s

@创建于：20211117文章目录1、背景2、代码示例2.1 代码2.1 输出结果3、结果讨论1、背景经常遇到两个日期之间相差多个年，多少月，多少日。方式1：使用datetimedatetime只能计算日期间隔了多少天，换成年，需要除以常数365.25；换成月则需要除以30.42。这样计算不太准确。方式2：使用np.timedelta64()函数方式3：使用dateutil的relativedeltadateutil则可以计算日期间隔了几年几月几日，是一种比较准确的方法。2、代码示例2.

@创建于：20211103@修改于：202111031、错误信息pd.read_csv 读取csv数据时候，报错pd.read_csv(filepath_or_buffer=file_path, sep=sep, encoding=encoding)2、尝试的方案2.1 更改编码方式尝试的编码有：utf-8gbkutf-16utf-8-BOMgb18030unicode_escape我的问题，无法解决！2.2 更改系统配置win10, pycharm环境下file —&gt

@创建于：20210813@修改于：20210813df.groupby([Column1,Column2])[Condition1].agg({Column3:“mean”,Column4:“sum”}).reset_index()1、【易百教程】Pandas分组（GroupBy）# 语法顺序和逻辑执行顺序df.groupby([Column1,Column2])[Condition1].agg({Column3: "mean",Column4:"sum"}).reset_index()

@创建于：20210813@修改于：202108131、Pandas进阶之DataFrame多级索引一、创建多级索引二、检索多级索引三、更改索引的层级四、多级索引的值排序(sort_index)五、多级索引汇总统计六、多级索引轴向转换七、多级索引转换单级索引2、DataFrame多重索引1、多重索引2、Series和DataFrame的转换3、DataFrame重置索引3、Python–MultiIndex多层次索引学习入门级demo学习MultiIndex创建的方式多层索

@创建于：20210716@更新于：20210716推荐推荐！dataframe画图，看着一篇就够了。Pandas高级教程之:plot画图详解

@创建于：20210716@修改于：20210716文章目录1、pandas.Series.dt.year() 和 pandas.Series.dt.month() 方法提取月份和年份2、strftime() 方法提取年份和月份3、pandas.DatetimeIndex.month 和 pandas.DatetimeIndex.year 提取年份和月份4、参考资料1、pandas.Series.dt.year() 和 pandas.Series.dt.month() 方法提取月份和年份应用于 Da

@创建于：20210715@修改于：20210715文章目录1 方法及参数介绍2 例子3 参考链接pandas.date_range()方法，用于生成一个固定频率的DatetimeIndex时间索引。1 方法及参数介绍pandas.date_range(start=None, end=None, periods=None, freq=None, tz=None, normalize=False, name=None, closed=None, **kwargs) source常用参数为start

@创建于：20210715@修改于：20210715最近在做时序预测，不想把精力放在各种时序数据的处理上，决定自己生成一些时间序列数据。供研究用。# -*- coding:UTF-8 -*- # datetime:2021/7/15 10:22# software: PyCharm""" 文件说明： 创建时序数据：包括基线、趋势、周期（2种） """import numpy as npimport pandas as pdimport randomimport matplot

@创建于：20210707@修改于：20210707文章目录1、魔术方法介绍1.1 初始化方法__init__1.2 __str__1.3 __getitem__1.4 __len__2、例子3、参考资料魔术方法就是一个类/对象中的方法，和普通方法唯一的不同时，普通方法需要调用！而魔术方法是在特定时刻自动触发。1、魔术方法介绍1.1 初始化方法__init__触发时机：初始化对象时触发（不是实例化触发，但是和实例化在一个操作中）参数：至少有一个self，接收对象返回值：无作用：初始化对象的

@创建于：20210407@修改于：202104071、问题描述python pandas 读csv文件遇到如下报错：ValueError: Falling back to the ‘python’ engine because the separator encoded in utf-8 is > 1 char long, and the ‘c’ engine does not support such separators, but this causes ‘low_memory’ to

@创建于：20210315@修改于：20210315文章目录1、statsmodels API2、statsmodels.api3、statsmodels.tsa.api4、statsmodels.formula.api5、参考资料1、statsmodels APIstatsmodels是Pandas生态系统（ecosystem）下Statistics and Machine Learning下的一个库。主要是偏传统频率学派统计方法，具体有下面三大主题组成。statsmodels.api：横截面模

@创建于：20210312@修改于：20210312文章目录1、背景2、rolling介绍2.1 DataFrame rolling API介绍2.2 参数介绍3、例子3.1 window例子3.2 win_type=‘triang’例子4、参考链接1、背景2、rolling介绍2.1 DataFrame rolling API介绍此处对应的pandas 版本号是 1.2.2，pandas.DataFrame.rollingDataFrame.rolling(window, min_perio

@创建于：20210311@修改于：20210311文章目录1、背景2、ewm介绍2.1 DataFrame ewm API接口介绍2.2 参数介绍3、例子3.1 必选参数比较3.2 adjust参数比较3.2 ignore_na参数比较3.2 times参数使用4、参考资料1、背景DataFrame下的指数权重滑窗算法在时间序列预测中较常用。本文对其的使用方法、理论内容和具体例子进行阐述，以方便使用者最快速度掌握。2、ewm介绍2.1 DataFrame ewm API接口介绍此处对应的

【python】Pandas中DataFrame基本函数整理（全）版本Pandas 1.2.2中，基本API官网查询：API reference

@创建于：2021.01.07@修改于：2021.01.07文章目录1、背景2、info()介绍3、解决办法4、参考链接1、背景需要把dataframe.info()的信息输出到指定文件中。而不是显示在平面上。2、info()介绍Pandas dataframe.info()函数用于获取 DataFrame 的简要摘要。在对数据进行探索性分析时，可以快速浏览数据集，带来极大的便利。（1）用法DataFrame.info(verbose=None, buf=None, max_cols=Non

@创建于：20201211@修改于：202012111、代码实现# -*- coding:UTF-8 -*- # author:# contact: # datetime:# software: PyCharm""" 文件说明： 打印工程目录文件，参考链接： https://blog.csdn.net/albertsh/article/details/77886876 """import osimport os.pathdef dfs_showdir(path, de

创建于：20201204修改于：20201204文章目录1、背景2、尝试的方式1、背景在PyCharm下的Terminal运行文件或者模块。出现了错误：ModuleNotFoundError: No module named ‘src’2、尝试的方式（1）增加系统路径（测试成功）sys.path.insert(0, ‘…/’)import sys, ossys.path.insert(0, '../')from setup import LOGFILE, NOWfrom src.mod

@创建于：20201106文章目录1、背景2、代码及结果3、扩展资料1、背景（1）计划实际测试merge函数在联合唯一键下的简单合并。（2）实际测试merge后的对象和被合并对象同名情况的输出是否被覆盖。2、代码及结果import pandas as pddf1 = pd.DataFrame({'key1':list('abbcc'), 'key2':list('xxyxy'), 'data1':range(1,6,1)})df1df2 = pd.DataFrame({'key1':l

创建于：20201026修改于：20201026文章目录1. 获取dataframe列名2. 删除当前dataframe的所有列3. 由dataframe的列名，创建合适的数据库表1. 获取dataframe列名print("===1:", type(df.columns), df.columns)print("===2:", type(df.columns.values), df.columns.values)print("===3:", type(df.columns.values.toli

创建于：20200812修改于：20200812文章目录1、找出所有含有空值的行2、找出含有空值的特定行和列3、代码实例4、为什么加转置5、参考链接1、找出所有含有空值的行DataFrame[DataFrame.isnull().T.any()]2、找出含有空值的特定行和列DataFrame[DataFrame[[‘column3’,‘column4’]].isnull().T.any()][[‘column3’,‘column4’]]3、代码实例import pandas as pdim

创建于：20200802修改于：20200802文章目录1、环境介绍2、基本安装过程3、报错信息及解决办法4、python链接hive代码5、参考链接1、环境介绍win10 64bitpython3.6.6 （conda建立的虚拟环境）2、基本安装过程下面是基本的安装过程，具体参照官网：cloudera/impyla我在PyCharm的Terminal下安装的。如pip install sixsixbit_arraythriftpy#这样不依赖Microsoft Visual C+

安装 scrapyd， 提示Requirement already satisfied用下面的方法，安装成功。不知道为啥pip install -i https://pypi.doubanio.com/simple/ --trusted-host pypi.doubanio.com --target=C:\ProgramData\Anaconda3\Lib\site-packages s...

创建日期：2020.03.02修改日期：2020.03.021、背景使用Jupter notebook 运行程序，需要安装wordcloud。2、安装wordcloud（1）使用 管理员 模式打开，anaconda prompt（2）运行下面代码conda install -c conda-forge wordcloud（3）运行过程如下Solving environment:...

Navicat数据库中表结构相似的两张表内容复制把t_data中的数据复制到t_info。t_info比t_data表多最后的三个表字段（key_w、key_s、key_e）。（1）选中t_data表中要复制的一行或者多行数据内容；（2）右击–>复制为–>Insert语句；（3）点击工具栏“查询”按钮–>新建查询；（4）粘贴到空白处；（5）替换表名t_data为t_i...

@创建日期：2020.03.31@修改日期：2020.03.31文章目录1. 字段分组、统计和排序2. 按DateTime字段的年或月进行group_by查询3. query.filter()的常用方法4. 高级查询1. 字段分组、统计和排序在调用func.count()函数时，count选择没有Null的字段，以选择id为最好，其次为常量值（func.count(1)）。如果选择fu...

@创建于：2020.03.28@修改于：2020.03.28文章目录1. 背景2. 解决办法对比2.1 原代码2.2 优化后3. 参考连接1. 背景在python flask中，用sql语句进行 查询，如何做到前端请求数据后快速返回？如：在使用flask-sqlalchemy对一个千万级别表进行count操作时，出现了耗时严重、内存飙升的问题。2. 解决办法对比2.1 原代码说明：...

文章目录1. 背景2. python实现2.1 代码片段2.2 结果查看3. 参考连接1. 背景用户在前端输入内容，按照空格后其他字符隔开关键字。在数据库中多个字段查询，若有匹配的则返回查询结果。涉及到：字符串正则匹配、sql循环搜索多个关键字、数据库模糊查找。@python3.5环境。2. python实现2.1 代码片段# 输入user_input = 'Odds Better ...

文章目录1. 背景与问题2. 解决办法3. 参考连接1. 背景与问题安装了scrapyd环境，编译器为python3.5。用db.session.query.filter()语句进行数据库查询操作。之前没有报错的代码，现在报错了。报错信息sqlalchemy.exc.ArgumentError: Textual SQL expression ‘’ should be explicitly...

file.read() 使用完后，file对象的大小变成0。我想用file.read()获取文件大小，用来判断是否大于某个值（如16M），如果小于16M，我就选择上传文件。然而上传后文件大小就变成0了。这个怎么处理呢？或者用python的其他什么方法可以实现我的需求呢？有作者写道：使用s = file.read()之后，就可以一直使用s作为内容值。file.read()只能读取一次，如...