数据分析
文章平均质量分 93
黑洞拿铁
看似最离奇的理想所需要的建筑素材就是一个个庸常而枯燥的努力
展开
-
NumPy基本命令汇总整理
NumPy(Numerical Python的简称)是Python数值计算最重要的基础包。大多数提供科学计算的包都是用NumPy的数组作为构建基础。本篇总结梳理了数据分析中使用频率相对较高的一些NumPy基本命令。包括:(一)`ndarray`基本命令,如数组的创建、数据类型和形状查看、数据重塑、合并拆分、伪随机数生成等;(二)`Numpy`数组的运算;(三)索引和切片;(四)通用函数:快速的元素级数组函数;(五)利用数组进行数据处理。...原创 2022-06-03 22:29:15 · 1174 阅读 · 1 评论 -
利用Python进行数据分析:数据聚合与分组运算(基于DataFrame)
利用Python进行数据分析:数据聚合与分组运算在将数据集加载、融合、准备好之后,通常就是计算分组统计或生成透视表。pandas提供了一个灵活高效的gruopby功能,对数据集进行切片、切块、摘要等操作。使用一个或多个键(形式可以是函数、数组或DataFrame列名)分割pandas对象。计算分组的概述统计,比如数量、平均值或标准差,或是用户定义的函数。应用组内转换或其他运算,如规格化、线性回归、排名或选取子集等。计算透视表或交叉表。执行分位数分析以及其它统计分组分析。下图为panda原创 2022-05-25 21:29:00 · 1994 阅读 · 0 评论 -
利用Python进行数据分析:数据规整(基于DataFrame)
利用Python进行数据分析:数据规整在许多应用中,数据可能分散在许多文件或数据库中,存储的形式也不利于分析。本部分关注可以聚合、合并、重塑数据的方法。# 导入包import pandas as pdimport numpy as np合并数据集pandas对象中的数据可以通过一些方式进行合并:pandas.merge可根据一个或多个键将不同DataFrame中的行连接起来。其实现的就是数据库的join操作。pandas.concat可以沿着一条轴将多个对象堆叠到一起。实例方原创 2022-05-24 22:21:27 · 922 阅读 · 0 评论 -
利用Python进行数据分析:数据转换(基于DataFrame)
利用Python进行数据分析:数据转换最近在做一个数据分析类项目,涉及处理7万+名学生的全学程数据,数据以表格型结构化数据为主,涉及学生基本信息、成绩和课程信息、评奖评优、勤工助学及行为数据。借此机会,对项目中频繁使用的基于DataFrame 的Python 数据分析语句进行梳理。此篇主要针对数据转换,包括移除重复数据、利用函数或映射进行数据转换、替换值、重命名轴索引、检测和过滤异常值、离散化和面元划分。# 导入包import pandas as pdimport numpy as np移除原创 2022-05-24 15:38:15 · 4797 阅读 · 0 评论 -
利用Python进行数据分析:缺失数据(基于DataFrame)
Python数据分析命令之DataFrame——缺失数据(持续更新中…)填补缺失数据、滤除缺失数据、填充缺失数据方法说明dropna根据各标签的值中是否存在缺失数据对轴标签进行过滤,可通过阈值调节对缺失值的容忍度fillna用指定值或插值方法(如ffill或bfill填充缺失数据)isnull返回一个含有布尔值的对象,这些布尔值表示哪些值是缺失值/NA,该对象原创 2022-05-22 21:04:28 · 3659 阅读 · 0 评论 -
利用Python进行数据分析:准备工作
- 重要的Python数据分析库- 安装和设置- Python编译器:Jupyter Notebook原创 2022-05-22 20:52:44 · 463 阅读 · 0 评论 -
Pycharm Community连接PostgreSQL数据库的实现过程
Pycharm连接Postgre SQL数据库最近在做一个数据分析的项目,目前的工作方式是使用Pycharm编辑数据分析代码,使用navicat for mysql可视化工具对数据库进行操作。因为需要频繁的切换软件感觉不是很方便,经过一番调研,发现Pycharm其实自带Database数据库管理工具,完全可以仅基于Pycharm同时实现数据分析和数据库的可视化操作,以下对实现过程进行简单记录。Pycharm社区版如何成功找到database我目前使用的是pycharm社区版,而社区版本身是没有da原创 2022-05-19 16:02:37 · 4299 阅读 · 0 评论