![](https://img-blog.csdnimg.cn/20210406163340306.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
python数据处理
主要记录了本计算机文盲在使用python各种库做数据处理时遇到的各种bug及其解决或未解决方案。
萝卜丝皮尔
统计学、管理科学与工程
展开
-
【2023.8.8 学习日志】XGBoost方法、预测共享单车租用量的流程
取“relative mean square log error”为性能指标(越小越好),比较XGBoost与随机森林、Adaboost,Bagging等其他机器学习集成方法的性能。内容:使用xgboost方法,根据特征数据预测count,registered,casual等响应变量,其中。集成学习方法:将弱分类器组成成强分类器,具体地,如随机森林、提升法。的使用:具体地,调用python第三方库的使用。它用于监督学习问题,比如:分类、回归和排序。除了网格搜索调参,这个项目还展示了。原创 2023-08-08 13:56:28 · 341 阅读 · 0 评论 -
【pandas】时间数据
参考书目:《跟老齐学Python-数据分析》import datetimenow = datetime.datetime.now() # curren timenowOut[4]: datetime.datetime(2021, 4, 28, 22, 9, 3, 502591)now.day,now.month,now.yearOut[5]: (28, 4, 2021)now.time()Out[6]: datetime.time(22, 9, 3, 502591)datetime.原创 2021-04-29 08:12:33 · 141 阅读 · 4 评论 -
【Python】TypeError: Unrecognized value type: <class ‘str‘>dateutil.parser._parser.ParserError: Unknow
当我想把数据框中的一列日期转换成pandas自带的日期格式的时候,遇到了这种报错。reader = pd.read_csv(f'新建文件夹/2020-12-22-5-10.csv', usecols=['passCarTime'],dtype={'passCarTime':'string'})pd.to_datetime(reader.passCarTime.head())Out[98]: 0 2020-12-22 10:00:001 2020-12-22 10:00:002 202原创 2021-04-28 20:59:01 · 3493 阅读 · 1 评论 -
【统计学】Python计算并绘制样本数据的经验分布函数
参考文献:一篇绘制累积经验分布函数图像的博客如何得到样本数据的经验分布函数?from statsmodels.distributions.empirical_distribution import ECDFecdf = ECDF([3,3,1,4]) # 返回了一个分布函数,我是说数学书上的函数type(ecdf)Out[19]: statsmodels.distributions.empirical_distribution.ECDFecdf(3) # 往这个分布函数中输入自变量,会得到其分原创 2021-04-24 13:52:12 · 4592 阅读 · 0 评论 -
pandas创建列和删除列
参考文献:pandas cookbook这一系列的文章,既不能算原创,也不能说就是翻译,为了方便我还是选择点【原创】,参考书就是参考文献那条。create new columns by using the .assign methodone way to create a new column : do an index assignmentnote that this will not return a new DataFrame but mutate the existing DataFrame原创 2021-04-19 19:11:20 · 595 阅读 · 0 评论 -
pandas更改列名、索引名
方法一:用字典# the renamed DataFrame method accepts dictionaries that map the old value to the new valuecol_map={"director_name":"director","num_critic_for_reviews":"critic_reviews"}movies.info()<class 'pandas.core.frame.DataFrame'>RangeIndex: 4916 en原创 2021-04-19 17:02:19 · 3241 阅读 · 0 评论 -
【pandas】使用pipe对Series调用自定义函数的一个小例子
invocation 求助,调用,启用n.palatable a.可接受的it is far more palatable to write a single method per line;# count the number of missing values fb_likes.isna().sum()one potential downside of chaining is that debugging becomes difficult.to debugging this code,原创 2021-04-19 16:21:31 · 242 阅读 · 0 评论 -
pandas中的加减乘除和比较大小运算
import pandas as pdmoney=pd.Series([100,20,None])money-15Out[4]: 0 85.01 5.02 NaNdtype: float64# do substraction with - operator, missing values are ignored# the .sub method allows you to specify a 'fill_value' parameter to use in place原创 2021-04-19 15:15:38 · 936 阅读 · 0 评论