- 博客(21)
- 收藏
- 关注
RSS订阅原创 NumPy基本命令汇总整理
NumPy（Numerical Python的简称）是Python数值计算最重要的基础包。大多数提供科学计算的包都是用NumPy的数组作为构建基础。本篇总结梳理了数据分析中使用频率相对较高的一些NumPy基本命令。包括：（一）`ndarray`基本命令，如数组的创建、数据类型和形状查看、数据重塑、合并拆分、伪随机数生成等；（二）`Numpy`数组的运算；（三）索引和切片；（四）通用函数：快速的元素级数组函数；（五）利用数组进行数据处理。...
2022-06-03 22:29:15
1088
1
原创 Python命名空间和作用域
Python命名空间和作用域经常搞不清楚Python的命名空间和作用域，查阅了一些网上的资料，并自行做了一些测试，将结果整理成本笔记。文章目录Python命名空间和作用域命名空间作用域全局变量和局部变量`global`和`nonlocal`关键词模块变量的作用域命名空间命名空间是从名称到对象的映射，Python大部分的命名空间都是通过字典来实现的，它的键就是变量名，它的值就是那些变量的值，核心作用是避免名字冲突。python中有三个命名空间：局部命名空间（local namespace）
2022-05-27 18:12:12
1330
原创 Python `exec` 命令在函数内执行无效的解决办法
Python exec 命令在函数内执行无效的解决办法我们都知道 exec 函数可以用来动态执行 python 代码，但如果在函数内执行会遇到问题，本文记录了具体问题、原因分析以及解决方案。文章目录Python `exec` 命令在函数内执行无效的解决办法问题描述原因分析解决方案简单粗暴版：将`exec`执行结果保存到`globals()`折中版：将`exec`的执行结果保存到`locals()`终极版：将 `exec` 的执行结果保存到自定义字典问题描述比如，如下执行命令exec('a=3')
2022-05-27 13:37:54
3144
6
原创 利用Python进行数据分析：数据聚合与分组运算（基于DataFrame）
利用Python进行数据分析：数据聚合与分组运算在将数据集加载、融合、准备好之后，通常就是计算分组统计或生成透视表。pandas提供了一个灵活高效的gruopby功能，对数据集进行切片、切块、摘要等操作。使用一个或多个键（形式可以是函数、数组或DataFrame列名）分割pandas对象。计算分组的概述统计，比如数量、平均值或标准差，或是用户定义的函数。应用组内转换或其他运算，如规格化、线性回归、排名或选取子集等。计算透视表或交叉表。执行分位数分析以及其它统计分组分析。下图为panda
2022-05-25 21:29:00
1885
原创 利用Python进行数据分析：数据规整（基于DataFrame）
利用Python进行数据分析：数据规整在许多应用中，数据可能分散在许多文件或数据库中，存储的形式也不利于分析。本部分关注可以聚合、合并、重塑数据的方法。# 导入包import pandas as pdimport numpy as np合并数据集pandas对象中的数据可以通过一些方式进行合并：pandas.merge可根据一个或多个键将不同DataFrame中的行连接起来。其实现的就是数据库的join操作。pandas.concat可以沿着一条轴将多个对象堆叠到一起。实例方
2022-05-24 22:21:27
900
原创 利用Python进行数据分析：数据转换（基于DataFrame）
利用Python进行数据分析：数据转换最近在做一个数据分析类项目，涉及处理7万+名学生的全学程数据，数据以表格型结构化数据为主，涉及学生基本信息、成绩和课程信息、评奖评优、勤工助学及行为数据。借此机会，对项目中频繁使用的基于DataFrame 的Python 数据分析语句进行梳理。此篇主要针对数据转换，包括移除重复数据、利用函数或映射进行数据转换、替换值、重命名轴索引、检测和过滤异常值、离散化和面元划分。# 导入包import pandas as pdimport numpy as np移除
2022-05-24 15:38:15
4714
原创 利用Python进行数据分析：缺失数据（基于DataFrame）
Python数据分析命令之DataFrame——缺失数据（持续更新中…）填补缺失数据、滤除缺失数据、填充缺失数据方法说明dropna根据各标签的值中是否存在缺失数据对轴标签进行过滤，可通过阈值调节对缺失值的容忍度fillna用指定值或插值方法(如ffill或bfill填充缺失数据)isnull返回一个含有布尔值的对象，这些布尔值表示哪些值是缺失值/NA,该对象
2022-05-22 21:04:28
3592
原创 Pycharm Community连接PostgreSQL数据库的实现过程
Pycharm连接Postgre SQL数据库最近在做一个数据分析的项目，目前的工作方式是使用Pycharm编辑数据分析代码，使用navicat for mysql可视化工具对数据库进行操作。因为需要频繁的切换软件感觉不是很方便，经过一番调研，发现Pycharm其实自带Database数据库管理工具，完全可以仅基于Pycharm同时实现数据分析和数据库的可视化操作，以下对实现过程进行简单记录。Pycharm社区版如何成功找到database我目前使用的是pycharm社区版，而社区版本身是没有da
2022-05-19 16:02:37
4094
原创 机器学习初探：（十一）主成分分析
主成分分析（Principal Component Analysis） 图片出处文章目录主成分分析（Principal Component Analysis）导论主成分分析什么是主成分分析主成分分析可以做什么理论推理如何选择主元主成分分析步骤案例详解零均质化求解协方差矩阵进行奇异值分解求解两个新的基向量和新的数据坐标小结参考文献导论王小明就读的M市
2022-03-04 11:59:48
846
原创 （三）碳排放如何计算
碳排放量是如何计算的？中国提出“2030 碳达峰、2060 碳中和”的目标，描绘了全国的减排图景，而这个全国性目标分解下沉后，各地的压力和任务大不相同。在全国碳中和的大目标下，如何稳扎稳打、步步推进，需要中央引导地方先“算好账”：每个省现状是怎样的、排放了多少碳、每年可以减排多少碳、本省可以中和多少碳。没有系统的测算，各省即使对当地的实际情况有所了解，也无法有全局观地、科学地推进碳中和事宜。可以说，准确的二氧化碳排放核算是实现碳减排的第一步！加快建立健全碳排放核算工作体系，将成为“十四五”时期我国在
2022-03-03 15:31:24
16892
2
原创 （二）智能化技术如何赋能能源数字化转型及智慧化应用？
数智化技术、强化学习在能源领域有哪些典型应用？作为世界上最大的发展中国家，中国“2030 碳达峰、2060 碳中和”的决心要求仅用 30 年从峰值降至零排放，远低于发达国家的60~70年时间，中国的中和斜率会远陡峭于欧美，减排速度要超出欧盟一倍，减排任务的艰巨程度史无前例。从（一） 碳达峰和碳中和：背景和内涵中我们了解到，能源活动产生的碳排放占我国二氧化碳排放总量的比重近90%，能源系统的碳减排对实现碳达峰和碳中和起着决定性作用。智慧能源作为能源企业降本增效以及助力“碳中和”的重要手段和开拓新业务的
2022-03-03 12:05:49
9771
原创 机器学习初探：（十）K均值聚类（K-means）以及KNN算法
本篇将介绍无监督学习家族中的一种经典聚类算法——K均值聚类（K-means）。文章目录K均值聚类（K-means）导论什么是K-meansK-means的操作步骤K-means的分类效果轮廓系数（Silhouette Coefficient）肘部确定法（Elbow Method）改进K-means之K
2022-02-25 16:04:23
3239
原创 机器学习初探：（七）了解支持向量机-2
（七）了解支持向量机-2 图片出处导论在上一篇文章中，我们讨论的是线性可分的例子，即显而易见存在一条直线可以轻松地将两类样本区分开来（如下图1所示）。然而，在很多实际问题中，原始样本空间内也许并不存在一条直线能完美区分出两类数据点。图1 线性可分继续前文中的摆放玩具的游戏，现在这个问题的难度上升了。当我任意地摆放这些圈圈和叉叉（如下
2022-02-18 16:05:53
109
原创 机器学习初探：（六）了解支持向量机-1
（六）了解支持向量机-1 图片出处本篇将介绍有监督学习家族中的一种经典分类算法——支持向量机（Support Vector Machines，简称SVM）。支持向量机是非常强大的一种分类算法，有着媲美神经网络的分类效果，实现过程却简单得多。通俗来讲，SVM是一种二分类模型，其最基本的思想就是，找到一个超平面，将不同类的数据点都“正确”地分布在
2022-02-18 15:46:58
790
原创 机器学习初探：（五）逻辑回归之多分类
（五）逻辑回归 - 多分类 图片出处文章目录（五）逻辑回归 - 多分类逻辑回归的一般流程逻辑回归多分类实例小结参考资料在“逻辑回归 - 二分类”一文中，我们介绍了逻辑回归算法（Logistic regression）。逻辑回归属于有监督学习中的一种分类方法，其进行分类的主要思想是：根据现有数据对决策边界线建立回归公式，以此进行分类。相比于
2022-02-18 14:01:04
7247
原创 机器学习初探：（四）逻辑回归之二分类
（四）逻辑回归 - 二分类 图片出处文章目录（四）逻辑回归 - 二分类逻辑回归（Logistic Regression）为什么需要逻辑回归？逻辑回归损失函数从计算图的角度理解梯度下降算法什么是计算图（Computation Graph）逻辑回归梯度下降算法逻辑回归二分类实例小结参考资料在机器学习初探：（一）机器学习绪论一文中，我们介绍了机
2022-02-17 16:39:04
2830
1
原创 机器学习初探：（三）线性回归之多元线性回归
（三）多元线性回归文章目录（三）多元线性回归多元线性回归（Multivariate Linear Regression）模型形式和基本假设损失函数（Cost Function）梯度下降（Gradient Descent）多元线性回归实践技巧多项式回归（Polynomial regression）小结参考资料在上一篇机器学习初探：（二）线性回归之一元线性回归中，我们构建了一个通过城市人口数预测门店利润额的模型，这是一个典型的一元线性回归的例子。在这个问题中，只有一个特征变量，即城市人口数。那如果问题存在
2022-02-16 11:44:44
424
原创 机器学习初探：（二）线性回归之一元线性回归
（二）一元线性回归文章目录（二）一元线性回归一元线性回归（Univariate Linear Regression）模型形式和基本假设损失函数（Cost Function）梯度下降（Gradient Descent）小结参考资料本篇将介绍一类经典的有监督学习算法——线性回归（Linear Regression）。回顾：有监督学习从有标记的训练数据中推导出预测函数，即给定数据集 (x,y)(x,y)(x,y)，能够基于 xxx 预测 yyy。回归这个词的意思是，我们在试着推测出一系列连续值属性。回
2022-02-16 10:30:44
899
原创 机器学习初探：（一）机器学习绪论
（一）机器学习绪论文章目录（一）机器学习绪论什么是机器学习？数据科学、人工智能、机器学习、深度学习人工智能（Artificial Intelligence, AI)机器学习（Machine Learning, ML)深度学习（Deep Learning，DL)数据科学（Data Science, DS)机器学习是怎么学习的？机器学习的分类有监督学习（Supervised Learning）回归（Regression）分类（Classification）无监督学习弱监督学习强化学习小结参考资料什么是机器
2022-02-14 14:52:20
700
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人