![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
pandas
tcy23456
这个作者很懒,什么都没留下…
展开
-
python/np/pd日期相互转换类封装(tcy)
Date类主要用于日期的转换,用于金融模型的时间转换class Date(object): def is_holiday(date: 'datetime or date'): def get_workdays(start: 'datetime or date',end: 'datetime or date') -> 'list[datetime.date]': def latest_working_day(n: int = None,backstr=True,separa.原创 2022-03-01 00:49:16 · 809 阅读 · 0 评论 -
pandas 查询筛选(tcy)
1.1.方法:1) df[条件]#多个条件必须加括号(不能用and or) df.A <5 or (df.A<5)& (df.A<df.B) df.A.isin([3,5,9]) [x.startswith('张') for x in df['姓名']] df.eval('A<B & B<C') numexpr.evaluate('(a<b) &(b < c)')#表达式不能含df.A2) df..原创 2022-02-14 15:33:04 · 488 阅读 · 0 评论 -
pandas Series.str.cat (tcy)
cat 2021/5/27=========================================================================1.函数:cat(self,others=None,sep=None,na_rep=None,join='left')用途:用给定分隔符连接系列/索引中的字符串返回:str(others=None)Series或Index参数: --others : 列表(复合)序列df,n...原创 2021-05-27 17:49:03 · 430 阅读 · 0 评论 -
pandas.DataFrame按行列值/名称排序
pandas.DataFrame按行列值/名称排序 2020/5/27===================================================================#1.1.按照某一列排序d = {'C': [7, 5, 8, 4,],'A': [3, 6, 6, 7], 'B': [2, 5, 8, 0,]}df = pd.DataFrame(data=d,index=[1,3,0,2])print('排序前:\n', df)'''排序前: .原创 2020-05-27 20:29:27 · 7730 阅读 · 0 评论 -
pandas40 数据判断isna,isnull,notna,any,all( tcy)
数据判断:2018/11/8 2019/1/51.函数:缺省值判断 pd.isna(obj) /isnull(obj) #检测类似数组对象缺失值。pd.notna(obj) /notnull(obj) #检测类似数组对象非缺失值。参数:obj:标量或数组返回:布尔或布尔数组说明: # NA值如None或np.nan,NaT将映射True值。''或np.inf不被视为...原创 2019-01-05 09:21:51 · 13308 阅读 · 0 评论 -
pandas30 合并数据merge,join,concat,append,combine,combine_first,update比较(比较详细)( tcy)
1.函数比较1.1.pd.merge(df1,df2)数据库方式数据合并(列操作) # 可根据一个或多个键(索引名或列名)将不同DataFrame中的行连接起来1.2.df1.join(df2)数据连接(列操作) # 通过一个或多个键(df1索引名或列名,df2索引名)将行键接起来 # join绝大部分功能可有merge实现。2.1pd.concat(df1,...原创 2019-01-01 16:22:52 · 690 阅读 · 0 评论 -
49 pandas数据类型判断(汇总)(tcy)
数据判断:2018/11/8 2019/1/11 1.函数:缺失值判断 pd.isna(obj) /isnull(obj) #检测类似数组对象缺失值。pd.notna(obj) /notnull(obj) #检测类似数组对象非缺失值。参数:obj:标量或数组返回:布尔或布尔数组说明: # NA值如None或np.nan,NaT将映射Tru...原创 2019-01-11 11:55:23 · 7202 阅读 · 0 评论 -
pandas41 query-字符串表达式查询:大数据函数( tcy)
pandas41 query-字符串表达式查询:大数据函数( tcy)https://mp.csdn.net/postedit/85887334pandas42 eval-字符串表达式查询:大数据( tcy)https://mp.csdn.net/postedit/85918442query-字符串表达式查询 2019/1/61.函数:df.query(expr,inplace ...原创 2019-01-06 00:14:40 · 4897 阅读 · 9 评论 -
pandas42 eval-字符串表达式查询:大数据( tcy)
pandas41 query-字符串表达式查询:大数据函数( tcy)https://mp.csdn.net/postedit/85887334pandas42 eval-字符串表达式查询:大数据( tcy)https://mp.csdn.net/postedit/85918442表达式评估eval() 2019/1/61.1.函数:pd.eval(expr, parse...翻译 2019-01-06 11:40:47 · 836 阅读 · 0 评论 -
43 pandas Series分层索引切片选择(tcy)
iterables = [['a1', 'a2', 'a3'], ['aa1', 'aa2','aa3']]index=pd.MultiIndex.from_product(iterables, names=['N1', 'N2'])s = pd.Series(np.arange(9), index=index)# 实例1.1:索引名,索引名lists['a1'] , s.loc['a...原创 2019-01-06 14:24:09 · 520 阅读 · 1 评论 -
44 pandas DataFrame分层索引切片选择(tcy)
1.总结:以2个层次标签为例说明obj[(label,label)]/obj.loc[(label,label)] #label为单个标签,标签切片,标签列表;注1obj[(loc,loc)]/obj.iloc[(loc,loc)] #loc为int,int切片; 注1obj[bool_vec] #bool数组选择s.a1.b1 #注2df.C1.D1s.get(la...原创 2019-01-06 16:56:15 · 912 阅读 · 3 评论 -
pandas31 stack将数据的列旋转为行( tcy)
df.stack(level=-1, dropna=True) #将数据的列旋转为行用途: # 将指定级别level从列堆叠到索引。通过旋转当前数据帧的列来创建新的最内层参数:level:int,str,list,默认-1 # 从列轴到索引轴堆叠的级别,定义为一个索引或标签,或索引或标签列表。 dropna=True #True删除缺省值返回#堆...原创 2019-01-02 10:54:20 · 627 阅读 · 0 评论 -
pandas29 join索引/列连接(列操作 补全全部实例)( tcy)
1.函数 df.join(other, on=None, how='left', lsuffix='', rsuffix='', sort=False)#在索引上的合并连接# 在索引或键上使用其他df连接列;将不同索引列组合df.join(right, on=key_or_keys)#完全等效于下面pd.merge(left, right, left_on=key_or_keys, ...原创 2019-01-01 14:55:47 · 1057 阅读 · 0 评论 -
pandas28 update-用另一个DataFrame中的非NA值进行就地修改(补全全部实例 tcy)
============================================================1.函数df.update(other, join='left', overwrite=True, filter_func=None, raise_conflict=False)用途: # 用另一个DataFrame中的非NA值进行就地修改参数: ...原创 2019-01-01 09:40:57 · 6170 阅读 · 0 评论 -
pandas27 merge-数据库风格合并/join索引连接(列操作)( tcy)
数据库风格的DataFrame加入/合并merge/join 2018/12/311.函数pd.merge(left, right, how='inner', on=None, left_on=None, right_on=None, left_index=False, right_index=False, sort=True,suffixes=('_x', '_y'...原创 2018-12-31 23:43:02 · 314 阅读 · 0 评论 -
pandas26 combine通过函数组合2个数据帧( tcy)
combine通过函数组合2个数据帧2018/12/31===================================================================================df1.combine(other, func, fill_value=None, overwrite=True)用途:通过函数组合2个数据帧 # 不传播Na...原创 2018-12-31 16:09:07 · 210 阅读 · 0 评论 -
48 python,numpy,pandas数据相互转换及数据类型转换;(汇总)(tcy)
本篇主要介绍pandas的数据类型层次;数据类型转换;python,numpy,pandas数据相互转换;及数据转换过程中出现的问题解决办法。pandas 数据类型 2018/12/111.数据类型2.查看通用的所有子类型 dtypes: 1.查看数据类型: df.info() df.dtypes series.dtype get_dtype_c...原创 2019-01-10 20:37:54 · 7336 阅读 · 0 评论 -
pandas27 merge(数据库风格合并on参数实例)( tcy)
# 实例1.1:on 键名相同:指明要用哪个列进行连接left = pd.DataFrame({'key': ['K0', 'K1', 'K2'], 'A': ['A0', 'A1', 'A2'],'B': ['B0', 'B1', 'B2']})right = pd.DataFrame({'key': ['K0', 'K1', 'K2'],'C': ['C0', 'C1', 'C2'],'...原创 2018-12-31 22:51:59 · 481 阅读 · 0 评论 -
pandas27 merge(数据库风格合并left_index, right_index参数实例)( tcy)
# 实例2.1:加入索引left_index, right_index# join()将两个不同索引列组合 left = pd.DataFrame({'A': [ 'A1', 'A2'], 'B': [ 'B1', 'B2']}, index=['K1', 'K2'])right = pd.DataFrame({'C': [ 'C2', 'C3'], 'D': [ 'D2', '...原创 2018-12-31 23:07:26 · 11017 阅读 · 2 评论 -
pandas27 merge(数据库风格合并how参数实例)( tcy)
# 实例3:how指定键的连接方式:左连接,右连接,内连接外连接# 确定要在结果表中包含哪些键。如组合键没在左表或右表中值将为 NA pd.merge(left, right, how='inner', on=['key1', 'key2'])#内连接默认 键的交集pd.merge(left, right, how='outer', on=['key1', 'key2'])#外连接...原创 2018-12-31 23:16:18 · 486 阅读 · 0 评论 -
pandas27 merge(数据库风格合并列名后缀实例)( tcy)
# 实例4:重叠值列# suffixes参数:字符串列表的元组,重叠列名后缀left = pd.DataFrame({'k': ['K0', 'K1', 'K2'], 'v': [1, 2, 3]})right = pd.DataFrame({'k': ['K0', 'K0', 'K3'], 'v': [4, 5, 6]}) result = pd.merge(left, rig...原创 2018-12-31 23:21:04 · 1182 阅读 · 0 评论 -
pandas27 merge(数据库风格合并validate参数实例)( tcy)
# 实例5.1:validate检查重复键 left = pd.DataFrame({'A' : [11,12], 'B' : [13, 13]}) #B列重复数字right = pd.DataFrame({'A' : [14,15,16], 'B': [13,13,13]}) #B列重复数字left1 = pd.DataFrame({'A' : [1...原创 2018-12-31 23:25:23 · 3034 阅读 · 0 评论 -
pandas27 merge(数据库风格合并indicator参数实例)( tcy)
# 实例6:indicator添加分类到输出 df1 = pd.DataFrame({'no': [10, 11], 'name':['Tom', 'Bob']})df2 = pd.DataFrame({'no': [11, 12],'weight':[20, 20]}) pd.merge(df1, df2, on='no', how='outer', indicator=...原创 2018-12-31 23:32:52 · 1950 阅读 · 0 评论 -
55 pandas 时间序列-时间差dt.Timedelta属性方法(详细)(tcy)
时间差dt.Timedelta 2019/1/17dtTimedeltas时间上差异,以差异单位表示,例天,小时,分钟,秒。可正可负;大多数情况下可与datetime.timedelta互换1.1函数: class pd.Timedelta(value, unit=None, **kwargs)# 时间差;持续时间 1.2参数: value : Timedelta,time...原创 2019-01-17 12:09:29 · 19371 阅读 · 1 评论 -
50 pandas直方图hist核密度图(tcy)
直方图核密度图1.函数: df.plot.hist(by=None, bins=10, **kwds)< /FONT> #绘制df列直方图说明: 直方图是一种可以对值频率进行离散化显示的柱状图。 数据点被拆分到离散的、间隔均匀的面元中,绘制的是各面元中数据点的数量 最终得到数字频率分布直方图,X轴是df数值分布,Y轴是对应数值出现的次数参数:参数:...原创 2019-01-12 12:06:13 · 7011 阅读 · 0 评论 -
pandas32 unstack将数据的行“旋转” 为列( tcy)
unstack将数据的行“旋转” 为列 2019/1/2===============================================================1.函数DataFrame.unstack(level = -1,fill_value = None )将数据行旋转为列参数: level:int,string或者这些列表,默认为-1(最后一...原创 2019-01-03 08:13:24 · 612 阅读 · 0 评论 -
52 pandas pd.Period周期属性方法及实例- 时间序列(tcy)
1.1函数:class pd.Period(value=None, freq=None, ordinal=None, year=None, month=None,quarter=None, day=None, hour=None, minute=None, second=None)#代表一段时间1.2参数: value=None:Period或compat.string_type...原创 2019-01-15 16:39:28 · 2256 阅读 · 0 评论 -
60 pandas 时间序列-详述重新采样resample(tcy)
重新采样 2019/1/21resample()是一个基于时间的groupby,然后是每个组的缩减方法。该resample功能非常灵活,允许您指定许多不同的参数来控制频率转换和重采样操作1.函数 df.resample(rule,how=None,axis=0,fill_method=None,closed=None,label=None,convention=start, kin...原创 2019-01-21 19:20:17 · 3513 阅读 · 1 评论 -
3.pymysql .connect属性方法(tcy)
mysql连接 2019/1/241.connect()创建connection连接 connect() 方法生成一个 connect 对象, 我们通过这个对象来访问数据库 2.connect对象方法:2 begin()作用:开启一个事务,类似于BEGIN TRANSACTION3 commit()将任何挂起的事务提交到数据库作用:提交事务的所有操...原创 2019-01-27 09:40:43 · 7268 阅读 · 0 评论 -
53 pandas 时间序列-时区处理(tz_localize本地化tz_conver转换)(tcy)
时区处理 2019/1/161.pytz和dateutil库-对时区的支持: 1) DST 夏令时 2) UTC 协调世界时 3) 时区是以UTC的偏移量的形式表示的# 1.1查看时区名称import pytz,dateutilpytz.common_timezones'''[...,'Asia/Shanghai',...] '''#Dateutil时区字...原创 2019-01-16 19:58:26 · 8795 阅读 · 1 评论 -
54 pandas 时间序列- pd.Timestamp时间戳的属性方法(详细)(tcy)
时间/日期组件 - pd.Timestamp时间戳1.1函数:class pd.Timestamp(ts_input, freq=None, tz=None, unit=None,year=None, month=None, day=None, hour=None, minute=None,second=None, microsecond=None, nanosecond=None,...原创 2019-01-16 22:13:07 · 17440 阅读 · 0 评论 -
sympy库使用:第3部分 简化数学表达式(翻译 tcy)
简化数学表达式 2019/2/15 x,y,z=symbols('x y z')init_printing(use_unicode=True)# 将启用漂亮的打印===========================================================1.simplify#通用简化(尝试多种方法,速度慢;不能简化成幂指数的形式)simplify(...翻译 2019-02-15 21:05:04 · 2566 阅读 · 0 评论 -
sympy库使用:第1部分 基础(翻译 tcy)
sympy库 2019/2/13===========================================================1.前言1.1.参考文档 https://docs.sympy.org/latest/modules/solvers/inequalities.html1.2.特点 可作为高级计算器进行交互式使用,完全用Python编...翻译 2019-02-13 18:36:56 · 1684 阅读 · 0 评论 -
sympy库使用:第2部分 初等运算,表达式运算(翻译 tcy)
用sympy进行初等运算 ===========================================================1.初等运算from sympy import *x,y,z = sympy.symbols('x y z')# 1.1求对数sympy.log(sympy.E) # 1 自然对数sympy.log(8,2) ...原创 2019-02-13 18:37:51 · 1573 阅读 · 0 评论 -
47 pandas rank数据排名(补全实例)(tcy)
1.函数s.rank(axis=0, method='average', numeric_only=None, na_option='keep', ascending=True, pct=False)df.rank(axis=0, method='average', numeric_only=None, na_option='keep', ascending=True, pct=False...原创 2019-01-09 19:38:39 · 1390 阅读 · 0 评论 -
46 pandas reindex-重新索引(tcy)
reindex-重新索引2019/1/9作用是创建一个适应新索引的新对象1.函数df.reindex(labels = None,index = None,columns = None,axis = None,method = None, copy = True,level = None,fill_value = nan,limit = None,toleran...原创 2019-01-09 15:35:24 · 432 阅读 · 0 评论 -
56 pandas 时间序列-TimedeltaIndex/timedelta_range时间增量的索引(tcy)
TimedeltaIndex 生成具有时间增量的索引,可以使用TimedeltaIndex或timedelta_range()1属性方法TimedeltaIndex. s属性 days 每个元素的天数. seconds 每个元素的秒数(> = 0且小于1天). microseconds 每个元素的微秒数(> = 0且小于...原创 2019-01-19 11:28:23 · 2946 阅读 · 0 评论 -
pandas34 stack,unstack, pivot重塑或轴向旋转( tcy)
1.函数说明 重塑和轴向旋转有许多用于重新排列表格型数据的基础运算。这些函数也称作重塑reshape 或轴向旋转(pivot )运算。stack : 将数据的列“ 旋转” 为行。unstack :将数据的行“旋转” 为列。pivot : 轴向旋转 1)MySQL关系型数据库的数据因为固定架构(即列名和数据类型)存储日期2019-03-01 00:00:01多为长格式...原创 2019-01-03 09:02:28 · 249 阅读 · 0 评论 -
pandas35 数据清理- 重复数据判断删除duplicated,drop_duplicates( tcy)
数据清理- 重复数据判断删除1.函数============================================================df.duplicated(subset=None, keep='first') # 指定列数据重复项判断; # 返回:指定列重复行...原创 2019-01-03 10:54:45 · 10688 阅读 · 3 评论 -
Categorical分类对象属性方法与CategoricalDtype(Series.cat.序列分类类型函数)(tcy)
pandas.Categorical 2019/1/7 函数:class pd.Categorical(values,categories =None,ordered=None,dtype=None,fastpath=False ) 经典R/S-plus分类变量 分类只能采用有限固定数量的可能值(类别)。可有顺序,但数值运算(加法,除法,......)是不可能 分...原创 2019-01-07 19:50:52 · 6907 阅读 · 0 评论