- 博客(89)
- 收藏
- 关注
RSS订阅原创 NumPy的实用函数整理之percentile
NumPy的实用函数整理之percentilepercentile()NumPy函数percentile()用于计算指定维度上数组元素的第 n 个百分位数，返回值为标量或者数组。percentile()percentile(a, q, axis=None, out=None,overwrite_input=False, interpolation='linear', keepdims=False)其中参数a：numpy数组，待求分位数的数组，或者可以被转换为numpy数组的数据结构。q：num
2022-01-25 19:02:02
5677
3
原创 NumPy的实用函数整理之where
NumPy的实用函数整理之wherewhere()NumPy函数where()用于条件返回，根据条件确定返回值，或返回满足条件索引。where()where(condition, x=None, y=None)其中参数condition : numpy数组，数组元素为布尔值。x, y: numpy数组，其中x，y，condition必须有相同的维度函数返回值：numpy数组，满足条件返回索引对应的x的值，不满足则返回y的值。举例如下：例1：输入：a = np.arange(10)
2022-01-19 19:28:03
1845
1
原创 NumPy的实用函数整理之extract
NumPy的实用函数整理之extractNumPy函数extract()用于返回满足一定条件的数组元素。
2022-01-17 19:00:01
1184
1
原创 NumPy的实用函数整理之clip
NumPy的实用函数整理之clipclip()NumPy函数clip()用于保留数组中在间隔范围内内的值。给定一个范围，范围外的值将剪裁到范围边界。例如，如果指定的范围为[0，1]，则小于0的值变为0，大于1的值变为1。clip()clip(a, a_min, a_max, out=None, **kwargs)其中参数：a:要被剪裁的NumPy数组a_min: 是最小值，可以是数值，NumPy数组或者空值Nonea_max: 是最最大值，可以是数值，NumPy数组或者空值None。最大值
2022-01-13 21:37:53
1460
1
原创 NumPy的实用函数整理之allclose
NumPy的实用函数整理之allcloseallclose()NumPy函数allclose()用于匹配两个数组，并根据布尔值获得输出,默认在1e-05的误差范围内。如果两个数组中的项在容忍范围内不相等，则返回False。这是一种检查两个数组是否每个元素都相似的好方法。allclose()numpy.allclose(a, b, rtol=1.e-5, atol=1.e-8, equal_nan=False)其中参数：a是numpy数组b是numpy数组rtol是容许的相对最大误差系数，默
2022-01-12 18:51:46
8184
2
原创 NumPy的实用函数整理之argpartition
NumPy的实用函数整理之argpartitionNumPyargpartition()NumPyNumPy是使用Python进行科学计算的基本包。它包括以下内容:强大的n维数组对象复杂的(广播)函数集成C/ C++和Fortran代码的工具有用的线性代数、傅里叶变换和随机数功能除了其明显的科学用途外，NumPy还可以用作通用数据的高效多维容器。可以定义任意数据类型。这使得NumPy可以无缝且快速地与各种数据库集成。argpartition()numpy.argpartition(a,
2022-01-08 21:43:30
4829
1
原创 AttributeError: ‘DataFrame‘ object has no attribute ‘as_matrix‘
AttributeError: 'DataFrame' object has no attribute 'as_matrix'解决问题解决思路解决方法解决问题AttributeError: ‘DataFrame’ object has no attribute ‘as_matrix’解决思路老版本的pandas使用as_matrix提取值 ，pandas更新后这个方法就没有了。可以参考pandas的官方文档https://pandas.pydata.org/pandas-docs/stable/
2021-08-31 16:42:10
1633
1
原创 Pandas数据分析：文本数据分析
Pandas数据分析：文本数据分析Object vs String字符串处理方法大小写转换Strip方法Split方法Cat方法Startswith and endswith方法Get dummies方法Len方法文本数据是我们经常分析的数据，但是，文本通常不会以良好和清洁的格式出现，并且需要进行许多预处理。 Pandas提供许多函数来修改和处理字符串数据。 在进行字符串操作之前，最好先了解一下Pandas如何处理字符串数据类型。Object vs String在Pandas 1.0版本之前，仅使用“
2021-07-21 22:04:00
645
5
原创 ValueError: If using all scalar values, you must pass an index
ValueError: If using all scalar values, you must pass an index解决问题解决思路解决方法一：添加索引解决方法二：修改字典内容，或改为list格式后转换解决问题ValueError: If using all scalar values, you must pass an index解决思路当python的dict数据转换为DataFrame时报错，例如输入：dict = {'a':'a', 'b':'b'}pd.DataFrame(d
2021-07-15 21:23:59
968
原创 Pandas数据分析：使用transform，apply函数处理分组数据
Pandas数据分析：使用transform，apply函数处理分组数据复习fillna的用法向下填充：向上填充：填充具体数值数据独立时，处理缺失值的方法整体均值填充分组均值填充细分子组确实值填充数据存在一定相关性时，如何处理缺失值按国家分组并重新编制整个日期范围的索引在每个国家分组的基础上，在我们观测到的范围之外进行插值和外推数据清洗和可视化的关键之一在于如何处理缺失值。使用pandas的fillna函数可以对缺失值进行基本的处理。然而，fillna只适用于简单的情况，一旦数据中的组或数据顺序变得相关，
2021-06-29 21:26:58
738
5
原创 Pandas数据分析groupby函数深度总结（2）
Pandas数据分析groupby函数深度总结（2）应用函数转换：**apply** , **agg(regate)** , **transform** 以及 **filter**applyaggtransformfilter本文为系列(2)，总结应用函数转换：apply , agg(regate) , transform 以及 filter，代码采用jupyter notebook演示。应用函数转换：apply , agg(regate) , transform 以及 filter系列（1）深度讨论
2021-06-23 21:31:27
1246
2
原创 Pandas数据分析groupby函数深度总结（1）
Pandas数据分析groupby函数深度总结（1）groupby分组数据加载数据数据分组按'Sales Rep'列分组显示所有分组选择一个特定的组计算每组中的行数按'Sales Rep'中的姓分组按'Sales Rep'中是否包含有“William”分组按随机序列分组按'Val'列分位数分成三组按制定的'Val'列的范围进行分组pd.GrouperGrouping by year按季度或其他频率分组通过多列进行分组pandas包最强大的函数之一，当属groupby了。但是大多数人对groupby函数研究
2021-06-22 22:15:42
3318
3
原创 Python学习28——Pycharm 开发环境的调试
Python学习28——Pycharm 开发环境的调试断点进入调试视图调试操作区进行调试的核心是设置断点。程序执行到断点时，暂时挂起，停止执行。就像看视频按下停止一样，我们可以详细的观看停止处的每一个细节。断点程序运行到此处，暂时挂起，停止执行。我们可以详细在此时观察程序的运行情况，方便做出进一步的判断。设置断点：(1) 在行号后面单击即可增加断点(2) 在断点上再单击即可取消断点进入调试视图我们通过如下三种方式都可以进入调试视图：单击工具栏上的按钮：右键单击编辑区，点击
2021-05-07 22:16:27
202
7
原创 Python学习27——with 上下文管理
Python学习27——with 上下文管理通过with 上下文管理，更方便的实现释放资源的操作。with 上下文管理可以自动管理资源，在 with 代码块执行完毕后自动还原进入该代码之前的现场或上下文。不论何种原因跳出 with 块，不论是否有异常，总能保证资源正常释放。极大的简化了工作，在文件操作、网络通信相关的场合非常常用。代码示例：#测试文件读取with open(r"e.txt","r",encoding="utf-8") as f: str = f.read() pri
2021-05-07 21:54:05
203
1
转载 Python学习26——常见异常汇总
Python学习26——常见异常汇总异常名称说明ArithmeticError所有数值计算错误的基类AssertionError断言语句失败AttributeError对象没有这个属性BaseException所有异常的基类DeprecationWarning关于被弃用的特征的警告EnvironmentError操作系统错误的基类EOFError没有内建输入,到达 EOF 标记Exception常规错误的基类Floatin
2021-05-07 21:39:59
133
1
转载 Python 入门笔记25——设计模式
Python 入门笔记25——设计模式工厂模式实现单例模式实现设计模式是面向对象语言特有的内容，是我们在面临某一类问题时候固定的做法，设计模式有很多种，比较流行的是：GOF（Goup Of Four）23 种设计模式。本文学习两个最常用的模式：工厂模式和单例模式。工厂模式实现工厂模式实现了创建者和调用者的分离，使用专门的工厂类将选择实现类、创建对象进行统一的管理和控制。#测试工厂模式class CarFactory: def create_car(self,brand):
2021-04-15 22:14:31
123
1
原创 Python 入门笔记24——组合
Python 入门笔记23——对象的浅拷贝和深拷贝“is-a”关系，我们可以使用“继承”。从而实现子类拥有的父类的方法和属性。“is-a” 关系指的是类似这样的关系：狗是动物，dog is animal。狗类就应该继承动物类。“has-a”关系，我们可以使用“组合”，也能实现一个类拥有另一个类的方法和属性。” has-a”关系指的是这样的关系：手机拥有 CPU。 MobilePhone has a CPU。#测试组合#使用继承实现代码的复用class A1: def say_a1(se
2021-04-15 21:36:23
92
3
原创 Python 入门笔记23——对象的浅拷贝和深拷贝
Python 入门笔记23——对象的浅拷贝和深拷贝变量的赋值操作只是形成两个变量，实际还是指向同一个对象。浅拷贝Python 拷贝一般都是浅拷贝。拷贝时，对象包含的子对象内容不拷贝。因此，源对象和拷贝对象会引用同一个子对象。深拷贝使用 copy 模块的 deepcopy 函数，递归拷贝对象中包含的子对象。源对象和拷贝对象 所有的子对象也不同。代码示例：#测试对象的浅拷贝、深拷贝import copyclass MobilePhone: def __init__
2021-04-14 06:55:21
132
6
原创 离散数学学习笔记——命题逻辑（2）
离散数学学习笔记——命题逻辑（2）命题变元命题公式关于命题公式的说明公式的解释真值表命题变元一个特定的命题是一个常值命题，它不是具有值 “T”(“1”)，就是具有值 “F”(“0”)。一个任意的没有赋予具体内容的原子命题是一个变量命题，常称它为命题变量 (或命题变元)(propositional variable)，该命题变量无具体的真值，它的变域是集合{T, F}(或 {0, 1})。命题公式命题演算的合式公式 (well formed formula，wff)，又称命题公式 (简称公式)，按如
2021-04-13 22:00:26
1189
1
原创 离散数学学习笔记——命题逻辑
离散数学学习笔记——命题逻辑命题联结词命题联结词的真值表命题联结词的优先级命题联接词与开关电路命题联接词与逻辑电路命题联接词与网页检索命题联接词与位运算命题联结词命题联接词 “∧”、“∨”、“↔” 具有对称性，而 “¬”、“→” 没有。命题联结词的真值表联结词是两个命题真值之间的联结，而不是命题内容之间的连接，因此复合命题的真值只取决于构成他们的各简单命题的真值，而与它们的内容无关，与二者之间是否有关系无关。命题联结词的优先级1 所有五个联接词的优先顺序为：否定，合取，析取，蕴涵，等价；2
2021-03-31 20:22:32
11615
3
原创 Python 入门笔记22——特殊方法和运算符重载
Python 入门笔记22——特殊方法和运算符重载Python 的运算符实际上是通过调用对象的特殊方法实现的。比如:a = 20 b = 30c = a + bd = a.__add__(b)print("c=", c)print("d=", d)c= 50d= 50常见的特殊方法统计如下：每个运算符实际上都对应了相应的方法，统计如下：我们可以重写上面的特殊方法，即实现了“运算符的重载”。#测试运算符的重载class Person: def __init__(
2021-03-30 22:10:18
99
原创 离散数学学习笔记——集合运算的基本等式
离散数学学习笔记——集合运算的基本等式集合运算的基本等式集合运算的基本等式设 UUU 为全集，A,B,CA, B, CA,B,C 为任意集合。(1) A∪A=A,A∩A=A.A \cup A=A, A \cap A=A . \quadA∪A=A,A∩A=A. (幂等律)(2) A∪B=B∪A,A∩B=B∩AA \cup B=B \cup A, A \cap B=B \cap AA∪B=B∪A,A∩B=B∩A. (交换律)(3) A∪(B∪C)=(A∪B)∪C,A∩(B∩C)=(A∩B)∩CA
2021-03-25 22:05:15
1459
原创 Python 入门笔记21——面向对象进阶
Python 入门笔记21——面向对象进阶super()获得父类定义super()获得父类定义在子类中，如果想要获得父类的方法时，我们可以通过 super()来做。super()代表父类的定义，不是父类对象。代码实例：#测试super()，代表父类的定义，而不是父类的对象class A: def say(self): print("A:",self)class B(A): def say(self): #A.say(self)
2021-03-25 21:54:04
90
原创 LookupError: unknown encoding: cp65001
LookupError: unknown encoding: cp65001解决问题解决思路解决方法解决问题LookupError: unknown encoding: cp65001.解决思路python版本2.x会遇到的问题，原因是encoding不一样。解决方法在terminal端输入set PYTHONIOENCODING=UTF-8，设置后可以通过pip install win-unicode-console永久解决这个问题。...
2021-03-25 20:44:14
727
原创 Note: NumExpr detected 32 cores but “NUMEXPR_MAX_THREADS“ not set, so enforcing safe limit of 8.
Note: NumExpr detected 32 cores but "NUMEXPR_MAX_THREADS" not set, so enforcing safe limit of 8.解决问题解决思路解决方法解决问题Note: NumExpr detected 32 cores but “NUMEXPR_MAX_THREADS” not set, so enforcing safe limit of 8.解决思路没有设置NUMEXPR_MAX_THREADS而出现的警告，最后会NumExpr
2021-03-19 10:07:24
12299
1
原创 Python 入门笔记20——面向对象进阶
Python 入门笔记20——面向对象进阶object 根类dir()查看对象属性重写__str__()方法object 根类object 类是所有类的父类，因此所有的类都有 object 类的属性和方法。我们显然有必要深入研究一下 object 类的结构。对于我们继续深入学习 Python 很有好处。dir()查看对象属性为了深入学习对象，我们先学习内置函数 dir()，他可以让我们方便的看到指定对象所有的属性。查看对象所有属性以及和 object 进行比对:class Person:
2021-03-15 19:28:17
73
原创 Python 入门笔记19——面向对象进阶
Python 入门笔记19——面向对象进阶面向对象三大特征介绍继承语法格式类成员的继承和重写查看类的继承层次结构封装多态面向对象三大特征介绍Python 是面向对象的语言，也支持面向对象编程的三大特性：继承、封装（隐藏）、多态。继承继承可以让子类具有父类的特性，提高了代码的重用性。从设计上是一种增量进化，原有父类设计不变的情况下，可以增加新的功能，或者改进已有的算法。继承是面向对象程序设计的重要特征，也是实现“代码复用”的重要手段。如果一个新类继承自一个设计好的类，就直接具备了已有类的特征，就
2021-03-11 21:45:04
132
原创 机器学习算法进阶学习笔记——xgboost实践
机器学习算法进阶学习笔记——xgboost实践泰坦尼克号生存预测泰坦尼克号生存预测首先切换到python2.7，然后在运行# /usr/bin/python# -*- encoding:utf-8 -*-import xgboost as xgbimport numpy as npfrom sklearn.linear_model import LogisticRegressionfrom sklearn.model_selection import train_test_splitfr
2021-03-07 22:02:36
105
原创 机器学习算法进阶学习笔记——GBDT、xgboost与adaboost
机器学习算法进阶学习笔记——GBDT、xgboost与adaboostGBDTxgboostadaboostGBDT梯度提升的典型基函数即决策树(尤其是CART)在第m步的梯度提升是根据为残差数据计算决策树tm(x)\mathrm{t}_{\mathrm{m}}(\mathbf{x})tm(x)。令树t m(x)_{\mathrm{m}}(\mathbf{x})m(x) 的叶节点数目为J, 即树t m(x)_{\mathrm{m}}(\mathrm{x})m(x) 将输入空间划 分为JJJ个不
2021-03-04 22:02:14
152
2
原创 机器学习算法进阶学习笔记——决策树与随机森林
机器学习算法进阶学习笔记——决策树与随机森林决策树与随机森林信息增益条件熵经验条件熵H(D∣A)\mathrm{H}(\mathrm{D} \mid \mathrm{A})H(D∣A)信息增益率基尼系数决策树评价随机森林Bootstrap投票机制决策树与随机森林决策树（Decision Tree)囗决策树是一种树型结构，其中每个内部结点表示在一个属性上的测试，每个分支代表一个测试输出，每个叶结点代表一种类别。囗决策树学习是以实例为基础的归纳学习。口决策树学习采用的是自顶向下的递归方法，其基本思想
2021-02-28 21:40:55
143
原创 机器学习算法进阶学习笔记——回归算法
机器学习算法进阶学习笔记——回归算法线性回归最大似然估计MLE高斯对数似然与最小二乘θ\thetaθ的解析式的求解过程最小二乘法意义下的参数最优解正则与防止过拟合Moore-Penrose广义逆矩阵(伪逆)SVD计算矩阵的广义逆梯度下降法梯度方向Logistic回归Logistic回归参数估计Logistic回归参数的学习规则：线性回归最大似然估计MLEy(i)=θTx(i)+ε(i)y^{(i)}=\theta^{T} x^{(i)}+\varepsilon^{(i)}y(i)=θTx(i)+ε(i
2021-02-21 14:21:06
108
原创 离散数学学习笔记——集合论基础
离散数学学习笔记——集合论基础空集全集集合的相等关系集合的包含关系证明集合相等元集的子集幂集空集Definition不含任何元素的集合叫做空集(empty set)，记作 ∅.\varnothing .∅.空集可以符号化为 ∅={x∣x≠x}.\varnothing=\{x \mid x \neq x\} .∅={x∣x=x}.Example设 A={x∣x∈R,x2<0},A=\left\{x \mid x \in R, x^{2}<0\right\},A={x∣x∈R,x2
2021-02-17 20:07:18
1246
原创 离散数学学习笔记——集合的符号表示
离散数学学习笔记什么是集合集合的符号表示常用集合属于关系枚举法叙述法文氏图基数什么是集合A set is a group of objects. (simplest way)By a set we mean any collection M into a whole of definite distinctobjects m (which we called elements of M) of our perception or of ourthought. (Cantor’s way)集合
2021-02-16 16:05:15
5390
2
原创 ImportError: cannot import name ‘joblib‘ from ‘sklearn.externals‘
ImportError: cannot import name 'joblib' from 'sklearn.externals'解决问题解决思路解决方法解决问题ImportError: cannot import name ‘joblib’ from ‘sklearn.externals’ (C:\anaconda3\lib\site-packages\sklearn\externals_init_.py)解决思路sklearn.externals.joblib函数是用在0.21及以前的版本中，在
2021-02-16 15:20:07
10840
9
原创 scikit-learn机器学习笔记——KMeans聚类
scikit-learn机器学习笔记——KMeans聚类KMeans步骤KMeans APIKMeans性能评估指标Kmeans性能评估指标APIKMeans应用实例KMeans步骤1、随机设置K个特征空间内的点作为初始的聚类中心；2、对于其他每个点计算到K个中心的距离，未知的点选择最近的一个聚类 中心点作为标记类别；3、接着对着标记的聚类中心之后，重新计算出每个聚类的新中心点（平均值）；4、如果计算得出的新中心点与原中心点一样，那么结束，否则重新进行 第二步过程。KMeans API•
2021-02-16 15:03:10
537
2
原创 scikit-learn机器学习笔记——逻辑斯蒂回归
scikit-learn机器学习笔记——逻辑斯蒂回归逻辑回归公式逻辑回归的损失函数sklearn逻辑回归APILogisticRegression回归案例：良／恶性乳腺癌肿瘤预测pandas使用良／恶性乳腺癌肿分类流程逻辑回归公式公式:hθ(x)=g(θTx)=11+e−θTxg(z)=11+e−z\begin{array}{c}h_{\theta}(x)=g\left(\theta^{T} x\right)=\frac{1}{1+e^{-\theta^{T} x}} \\g(z)=\frac{
2021-02-16 14:32:21
418
原创 Python 入门笔记18——私有属性和私有方法、@property 装饰器
Python 入门笔记18——私有属性和私有方法、@property 装饰器私有属性和私有方法@property 装饰器属性和方法命名总结类编码风格私有属性和私有方法 Python 对于类的成员没有严格的访问控制限制，这与其他面向对象语言有区别。关于私有 属性和私有方法，有如下要点：通常我们约定，两个下划线开头的属性是私有的(private)。其他为公共的(public)。类内部可以访问私有属性(方法) 。类外部不能直接访问私有属性(方法) 。类外部可以通过“_类名__私有属性(方法)名”访
2021-02-08 20:11:54
223
原创 Python 入门笔记17——类对象、类属性、类方法、静态方法
Python 入门笔记17——类对象、类属性、类方法、静态方法类对象类属性类方法静态方法类对象 我们在前面讲的类定义格式中，“class 类名：”。实际上，当解释器执行 class 语句时， 就会创建一个类对象。In [1]: class Student: ...: pass ...:In [2]: print(type(Student))<class 'type'>In [3]: print(id(Student))1779741995168In [
2021-02-08 19:57:56
194
4
原创 scikit-learn机器学习笔记——线性回归，岭回归
scikit-learn机器学习笔记——线性回归，岭回归线性回归损失函数最小二乘法直接求解最小二乘法梯度下降sklearn线性回归方程求解、梯度下降API回归性能评估：sklearn回归评估API线性回归实例过拟合与欠拟合降低过拟合和欠拟合的方法L2正则化带有正则化的线性回归-Ridge线性回归定义：线性回归通过一个或者多个自变量与因变量之间之间进行建模的回归分析。其中特点为一个或多个 称为回归系数的模型参数的线性组合。一元线性回归: 涉及到的变量只有一个多元线性回归: 涉及到的变量两个或两个以上
2021-02-08 16:27:21
469
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人