数据预处理库
文章平均质量分 50
对日常所接触的数据处理、降维等技术手段和实现方法,进行归纳整理
积跬步,慕至千里
知行合一!
想,都是问题;
做,才有答案!
展开
-
python:大文件分批/块导入数据库方式记录
对于数据文件比较大的数据,一次性串联sql进行入库,往往会受到数据库本身对sql长度的限制,从而需要分块或者分批次,将大数据文件一点一点的进行入库。特针对这种入库方式,进行一个简单记录,各类数据库入库后续均可参考下述实现分块的方式,进行分批入库数据。问题点其实主要是如何对数据进行分块。,从而实现分批入库。原创 2024-05-23 17:32:38 · 599 阅读 · 0 评论 -
常用的数据降维方法总结(更新中)
最近在了解一些行业分析指标设计方面的问题, 过程中看到了一些通用的方法,比如说降维,因此,浏览了一些网上的博文和手头的书籍,初步对降维方法做了一个汇总。还有很多需要完善的地方,根据后续学习,再来补充!数据降维方法总结 方法 细分类别 方法思想 优点 缺点 线性方法 PCA(Pricipal Component Analysis) 数据经过...原创 2020-04-16 16:55:33 · 4667 阅读 · 0 评论 -
常用正则表达式汇总
目录一、校验数字的表达式二、校验字符的表达式三、特殊需求表达式内容信息参考地址:菜鸟工具1一、校验数字的表达式数字:^[0-9]*$n位的数字:^\d{n}$至少n位的数字:^\d{n,}$m-n位的数字:^\d{m,n}$零和非零开头的数字:^(0|[1-9][0-9]*)$非零开头的最多带两位小数的数字:^([1-9][0-9]*)+(\.[0-9]{1,2})?$带1-2位小数的正数或负数:^(\-)?\d+(\.\d{1,2})$正数、负数、和小数:^(\-|\+)?\d+(.原创 2020-07-13 15:47:38 · 323 阅读 · 0 评论 -
数据预处理常用方法总结
目录一、数据清理1 处理缺失值2 噪声数据二、数据集成1 实体识别2 冗余和相关分析3 数值冲突的检测与处理三、数据变换1 数据规范化2 数据离散化3 概念分层数据预处理包括多种方法,诸如数据清理、数据集成、数据变换等。一、数据清理数据清理主要是处理缺失数据、噪声数据等。1 处理缺失值处理缺失值常用方法:删除数据:根据缺失情况,按行删除或者按列删除度量填补缺失值:可以根据数据属性,采用均值、中位数、众数等中心度量值来填补缺失数据预测填补缺失值:可以将缺失属性作为因变量,建立分类或回归模.原创 2020-06-28 18:03:43 · 9476 阅读 · 0 评论 -
时间序列分析关键理论知识点整理
目录时间序列的组合成分[^实用案例分析]常用时序算法及适应范围[^实用案例分析]拖尾和截尾自相关和偏自相关函数的特征ARIMA过程与其自相关函数偏自相关函数特征[^计量经济学]在这里插入图片描述](https://img-blog.csdnimg.cn/20200622135841791.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpb原创 2020-06-28 14:09:59 · 5369 阅读 · 0 评论